# 一、安装目标

## Hive 环境版本清单
|组件|版本|说明|
|:-:|:-:|:-:|
|Hive|2.3.2|`bde2020/hive:2.3.2-postgresql-metastore`|
|Hadoop|2.7.4|Hive 镜像内置的 Hadoop 客户端|
|PostgreSQL|12|存储 Hive 元数据|
|JDK|8|Java 运行环境|
|PostgreSQL JDBC 驱动|9.4|镜像内置，只支持 md5 认证|


在已有 Hadoop 集群基础上，新增 Hive 环境，实现用 SQL 操作 HDFS 数据。

```
已有（hadoop-lab）          新增（hive-lab）
─────────────────          ────────────────
namenode                   hive-postgres（元数据存储）
datanode1                  hive-metastore（元数据服务）
datanode2                  hiveserver2（SQL查询入口）
resourcemanager
nodemanager1
nodemanager2
historyserver
```
----

# 二、安装步骤

**Step 1：创建 hive-lab 目录**
```
/
├── hadoop-lab/    已有，不动
└── hive-lab/      新建
    ├── docker-compose.yml
    └── hive.env（注意：不是 hadoop.env）
```
**Step 2：在 HDFS 上创建 Hive 数据目录**
```bash
docker exec namenode hdfs dfs -mkdir -p /user/hive/warehouse
docker exec namenode hdfs dfs -chmod g+w /user/hive/warehouse
```

**Step 3：用 sleep infinity 启动 hive-metastore** 【docker-compose.yml文件里command: sleep infinity】 
```bash
# command 临时改为 sleep infinity，让容器保持运行但不启动服务
docker compose up -d
```

**Step 4：手动初始化 Hive Schema**

```bash
docker exec -it hive-metastore /opt/hive/bin/schematool -dbType postgres -initSchema
# 看到 schemaTool completed 说明成功
```

**Step 5：改回正常启动命令**

```yaml
command: /opt/hive/bin/hive --service metastore
```
**Step 6： /hadoop-lab/  的 hadoop.env 加 proxyuser 配置**
进入hadoop-lab 目录执行
```
CORE_CONF_hadoop_proxyuser_root_hosts=*
CORE_CONF_hadoop_proxyuser_root_groups=*
```

**Step 7：重建两个集群**
``` bash
# hadoop-lab 先重建
cd hadoop-lab
docker compose down
docker compose up -d

# hive-lab 再重建
cd hive-lab
docker compose down
docker compose up -d
```

**Step 8：连接验证**

```bash
docker exec -it hiveserver2 /opt/hive/bin/beeline \
  -u jdbc:hive2://hiveserver2:10000 -n root

# 验证
SHOW DATABASES;
```
----
# 三、遇到的问题

|问题|原因|解决方案|
|:-:|:-:|:-:|
|`authentication type 10 not supported`|postgres:14 用 scram-sha-256 认证，老版 JDBC 驱动不支持|降级到 postgres:12|
|`verifySchema failed`|`autoCreateSchema=false`，元数据表未创建|改为 `true`|
|`schema 未初始化`|autoCreateSchema 只建表，不插入初始数据|手动执行 `schematool -initSchema`|
|无法进容器执行初始化|metastore 启动失败一直 restart|command 改为 `sleep infinity` 保持容器运行|
|`Address already in use 9083`|sleep infinity 容器还占着端口|`docker compose down` 再 `up`|
|`root is not allowed to impersonate root`|Hadoop 未允许 root 用户代理|hadoop.env 加 proxyuser 配置|
|proxyuser 配置不生效|`restart` 不重新执行 entrypoint，配置重复追加|必须 `down` 再 `up`|
|配置写到错误目录|在 hive-lab 下修改了 hadoop.env|注意目录切换，`cd hadoop-lab`|


----

# 四、重点
**Hive 架构三层**
```
HiveServer2    →  接收 SQL，对外提供 JDBC 连接（10000端口）
Metastore      →  管理表结构、分区、字段等元数据（9083端口）
PostgreSQL     →  存储 Metastore 的元数据
```
**Hive 本身不存数据**
```
数据存在 HDFS /user/hive/warehouse/
元数据（表结构）存在 PostgreSQL
Hive 只是把 SQL 翻译成 MapReduce 去执行
```
**autoCreateSchema vs schematool**
```
autoCreateSchema  →  DataNucleus 自动建表，不完整
schematool        →  官方初始化工具，建完整 schema + 初始数据
                     第一次必须手动执行
```
**proxyuser 配置**
```
HiveServer2 以 root 身份连接 HDFS 时
需要 Hadoop 允许 root 用户代理其他用户
否则报 not allowed to impersonate 错误
```
----
# 五、用到的文件
|文件|位置|作用|
|:-:|:-:|:-:|
|`docker-compose.yml`|hive-lab/|定义 postgres/hive-metastore/hiveserver2 三个容器|
|`hive.env`|hive-lab/|Hive 配置（metastore地址、PostgreSQL连接、warehouse路径）|
|`hadoop.env`|hadoop-lab/|新增 proxyuser 配置，允许 root 用户代理|

hive-lab/docker-compose.yml
```yaml
services:
  postgres:
    image: postgres:12
    container_name: hive-postgres
    hostname: hive-postgres
    restart: always
    environment:
      POSTGRES_DB: metastore
      POSTGRES_USER: hive
      POSTGRES_PASSWORD: hive123
    volumes:
      - hive_postgres_data:/var/lib/postgresql/data
    networks:
      - hive-net
      - hadoop-net

  hive-metastore:
    image: bde2020/hive:2.3.2-postgresql-metastore
    container_name: hive-metastore
    hostname: hive-metastore
    restart: always
    depends_on:
      - postgres
    env_file:
      - ./hive.env
    environment:
      SERVICE_PRECONDITION: "hive-postgres:5432"
    command: /opt/hive/bin/hive --service metastore
    ports:
      - "9083:9083"
    networks:
      - hive-net
      - hadoop-net

  hiveserver2:
    image: bde2020/hive:2.3.2-postgresql-metastore
    container_name: hiveserver2
    hostname: hiveserver2
    restart: always
    depends_on:
      - hive-metastore
    env_file:
      - ./hive.env
    environment:
      SERVICE_PRECONDITION: "hive-metastore:9083"
    command: /opt/hive/bin/hive --service hiveserver2
    ports:
      - "10000:10000"
      - "10002:10002"
    networks:
      - hive-net
      - hadoop-net

networks:
  hive-net:
    driver: bridge
  hadoop-net:
    external: true
    name: hadoop-lab_default

volumes:
  hive_postgres_data:
```
hive-lab/hive.env
```请在此输入代码块语言
# ============================================================
# HDFS 连接配置
# ============================================================
# Hadoop NameNode 地址（对应 hadoop-lab 网络中的 namenode 容器）
CORE_CONF_fs_defaultFS=hdfs://namenode:9000
CORE_CONF_hadoop_http_staticuser_user=root

# ============================================================
# YARN 配置（Hive 提交 MapReduce Job 到 YARN）
# ============================================================
YARN_CONF_yarn_resourcemanager_hostname=resourcemanager

# ============================================================
# Hive Metastore 配置
# ============================================================
# Metastore 连接地址
HIVE_SITE_CONF_hive_metastore_uris=thrift://hive-metastore:9083
# 元数据存储在 PostgreSQL
HIVE_SITE_CONF_javax_jdo_option_ConnectionURL=jdbc:postgresql://hive-postgres/metastore
HIVE_SITE_CONF_javax_jdo_option_ConnectionDriverName=org.postgresql.Driver
HIVE_SITE_CONF_javax_jdo_option_ConnectionUserName=hive
HIVE_SITE_CONF_javax_jdo_option_ConnectionPassword=hive123
# 启动时自动创建元数据表
HIVE_SITE_CONF_datanucleus_autoCreateSchema=true
# Hive 数据在 HDFS 上的默认存储路径
HIVE_SITE_CONF_hive_metastore_warehouse_dir=/user/hive/warehouse
# 开启本地模式（小数据量直接在本地跑，不提交 YARN，速度更快）
HIVE_SITE_CONF_hive_exec_mode_local_auto=true
```
hadoop-lab/hadoop.env
增加
```请在此输入代码块语言
CORE_CONF_hadoop_proxyuser_root_hosts=*
CORE_CONF_hadoop_proxyuser_root_groups=*
```
----

# 六、难点

**1. schematool 必须手动执行**

容器一直 restart 没法进去，需要用 `sleep infinity` 绕过，是整个安装过程最关键的步骤。

**原因一：镜像太老，没有自动初始化逻辑**

我们用的 `bde2020/hive:2.3.2` 是 2019 年的老镜像，entrypoint 脚本里没有自动初始化 schema 的逻辑

**原因二：`autoCreateSchema=true` 不够用**
**原因三：schematool 不能重复执行**

**第一次安装 / 完全重置 才需要走完整流程**

```powershell
# 第一步：改 docker-compose.yml，command 改为待命模式
command: sleep infinity

# 第二步：启动容器
docker compose down -v
docker compose up -d
Start-Sleep 15

# 第三步：手动初始化 schema（一生只需执行一次）
docker exec -it hive-metastore /opt/hive/bin/schematool -dbType postgres -initSchema

# 第四步：改回正常启动命令
command: /opt/hive/bin/hive --service metastore

# 第五步：重启生效
docker compose down
docker compose up -d
```

**2. down -v 和 down 的区别**

`down -v` 会清空 PostgreSQL 数据，导致 schema 丢失，必须重新初始化。修改配置重启时只能用 `down`，不能加 `-v`。

**3. restart 不重新生成配置**

`bde2020` 镜像的配置在 entrypoint 里生成，`restart` 不会重新执行 entrypoint，必须 `down` 再 `up` 配置才能生效。

**4. 目录切换**

hadoop-lab 和 hive-lab 各自有 `.env`，操作时必须确认当前目录，否则改错文件。


----

# 七、后续学习


```
Hive 环境（ 完成）
    │
    ▼
Hive SQL 基础
├── DDL：建库建表（内部表/外部表）
├── DML：插入/查询/分区
├── ORC 格式存储
└── 分区表设计

    │
    ▼
结合你们项目
└── 模拟 STG → ODS → DWD 数据流转
```

在已有 Hadoop 集群基础上，新增 Hive 环境，实现用 SQL 操作 HDFS 数据。

Hadoop 学习总结（2）-Hive 环境搭建

在已有 Hadoop 集群基础上，新增 Hive 环境

软件开发工程师

大数据

数据库

开发工具

本文详细讲解Hive 2.3.2环境搭建过程，包括PostgreSQL元数据存储配置、Hive Metastore初始化、HiveServer2连接验证等关键步骤。提供Docker Compose部署方案，解决认证失败、端口占用等常见问题，帮助用户快速搭建SQL-on-Hadoop查询环境。

数据存储

代码解释

PostgreSQL

MapReduce

数据流

容器

Docker

Hadoop 

Hive

HDFS

2026上云采购 | AI焕新·智启新局

bigdata-class

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

Hadoop 学习总结（2）-Hive 环境搭建-腾讯云开发者社区-腾讯云

Hadoop 学习总结（2）-Hive 环境搭建

Hadoop 学习总结（2）-Hive 环境搭建

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐