# 学习目的
**短期目标**
- 在本地搭建一个可运行的 Hadoop 伪分布式集群
- 理解 Hadoop 的核心组件和工作原理
- 跑通 WordCount 验证集群可用性

**长期目标**
- 为后续学习 Hive / Spark / DataX 打基础
- 打通完整的大数据数仓链路：`医院数据 → STG → ODS → DWD → DWS → PostgreSQL`
- 支撑 DataGuardian 平台的大数据治理能力

# 学习步骤
**Step 1：镜像选型**
```
尝试 apache/hadoop:3.3.6  →  发现 Python bug 无法启动
切换 bde2020/hadoop-*     →  稳定可用
```
**Step 2：编写配置文件**
```
hadoop.env          集群参数配置
docker-compose.yml  容器编排
hadoop.sh           操作脚本
```
**Step 3：排查启动问题**
```
ValueError: too many values to unpack
  → 分析 envtoconf.py 源码
  → 分析 transformation.py 源码
  → 分析 starter.sh 源码
  → 定位是镜像自身 bug，换镜像解决

aux-services 不生效
  → 查看 yarn-site.xml 实际内容
  → 发现 _ 和 - 转义规则问题
  → 三下划线 ___ 才能转成连字符 -

MRAppMaster 找不到
  → 补充 HADOOP_MAPRED_HOME 配置
  → 指向正确路径 /opt/hadoop-3.2.1

historyserver 无数据
  → 补充时间线服务相关配置
  → 开启 yarn.timeline-service.enabled
```

**Step 4：跑通 WordCount**
```
# 创建输入目录
hdfs dfs -mkdir -p /input

# 上传测试数据
echo 'hello world hello hadoop' | hdfs dfs -put - /input/words.txt

# 提交 MapReduce Job
hadoop jar hadoop-mapreduce-examples-3.2.1.jar wordcount /input /output

# 查看结果
hdfs dfs -cat /output/part-r-00000
```

**Step 5：理解原理**
```
HDFS 存储原理   →  Block / NameNode / DataNode
YARN 调度原理   →  ResourceManager / NodeManager / ApplicationMaster
MapReduce 原理  →  Map / Shuffle / Reduce / Combiner
WordCount 源码  →  Mapper / Reducer / Driver 逐行分析
```


----
# WordCount 跑通全步骤

## 第一步：启动集群

```
docker compose up -d
```

```
docker logs namenode --tail 10
```

看到以下关键字说明启动成功：

```
NameNode RPC up at: namenode/172.18.0.x:9000
registerDatanode  # 出现两次，说明两个 DataNode 都注册上来了
```
----

## 第二步：创建 HDFS 输入目录


```
docker exec namenode hdfs dfs -mkdir -p /input
```
- `docker exec namenode` 在 namenode 容器内执行命令

- `hdfs dfs` HDFS 文件系统操作命令

- `-mkdir -p` 创建目录，`-p` 表示父目录不存在则一并创建

- `/input` 是 HDFS 上的路径，不是容器本地路径


----

## 第三步：上传测试数据


```
docker exec namenode bash -c "echo 'hello world hello hadoop hello yarn hello hdfs' | hdfs dfs -put - /input/words.txt"
```
- `echo '...'` 在容器内输出一行文本

- `|` 管道，把 echo 的输出传给后面的命令

- `hdfs dfs -put -` 从标准输入读取内容上传到 HDFS

- `-` 表示从标准输入读，不是从本地文件读

- `/input/words.txt` 上传后在 HDFS 上的路径

验证上传成功：


```
docker exec namenode hdfs dfs -ls /input
docker exec namenode hdfs dfs -cat /input/words.txt
```
----

##  第四步：提交 WordCount Job


```
docker exec namenode hadoop jar \
  /opt/hadoop-3.2.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar \
  wordcount /input /output
```


- `hadoop jar` 向 YARN 提交一个 jar 包任务

- `hadoop-mapreduce-examples-3.2.1.jar` Hadoop 自带的示例 jar 包

- `wordcount` jar 包内注册的程序入口名

- `/input` HDFS 输入路径

- `/output` HDFS 输出路径（**必须不存在**，否则报错）
运行过程中会看到：
```
INFO mapreduce.Job: Running job: job_xxx
INFO mapreduce.Job: map 0% reduce 0%
INFO mapreduce.Job: map 100% reduce 0%
INFO mapreduce.Job: map 100% reduce 100%
INFO mapreduce.Job: Job job_xxx completed successfully
```
----
## 第五步：查看结果


```
docker exec namenode hdfs dfs -cat /output/part-r-00000
```
输出：
```
hadoop  1
hdfs    1
hello   4
world   1
yarn    1
```


- `part-r-00000` 是 Reduce 阶段输出的第一个文件

- 命名规则 `part-r-{reduceTaskId}`，只有一个 Reducer 所以只有 `00000`
-  结果按字母顺序排列，是 Shuffle 阶段排序的结果

----
## 第六步：查看 Job 历史
打开浏览器访问：
```
http://localhost:8188/applicationhistory/apps
```
可以看到刚才这个 Job 的：
- 运行时间

- Map / Reduce Task 数量

- 每个 Task 的详细日志

- 计数器信息（读写字节数、记录数等）


----

##常见问题

**输出目录已存在报错：**

```
# 删除上次输出再跑
docker exec namenode hdfs dfs -rm -r /output
```
**查看 HDFS 所有文件：**

```
docker exec namenode hdfs dfs -ls -R /
```
**Job 失败查日志：**

```
docker logs nodemanager1 --tail 50
```
----

# 产出文件

|文件|说明|
|:-:|:-:|
|`hadoop.env`|集群配置，含完整注释，按 CORE / HDFS / YARN / MapReduce 四块分组|
|`docker-compose.yml`|7个容器编排，含 depends_on 启动顺序和端口映射|
|`hadoop.sh`|操作脚本，支持 start / stop / status / wordcount / clean 等命令|


## hadoop.env
```请在此输入代码块语言
# ============================================================
# CORE 配置 - 对应 core-site.xml
# ============================================================
# HDFS 默认文件系统地址
CORE_CONF_fs_defaultFS=hdfs://namenode:9000
# HDFS Web UI 静态用户
CORE_CONF_hadoop_http_staticuser_user=root

# ============================================================
# HDFS 配置 - 对应 hdfs-site.xml
# ============================================================
# 数据副本数（我们有2个DataNode所以设为2）
HDFS_CONF_dfs_replication=2
# 开启 WebHDFS REST API
HDFS_CONF_dfs_webhdfs_enabled=true
# 关闭权限检查（实验环境方便操作）
HDFS_CONF_dfs_permissions_enabled=false

# ============================================================
# YARN 配置 - 对应 yarn-site.xml
# ============================================================
# ResourceManager 所在主机名
YARN_CONF_yarn_resourcemanager_hostname=resourcemanager
# NodeManager 辅助服务，mapreduce_shuffle 用于 Map 结果传输给 Reducer
YARN_CONF_yarn_nodemanager_aux___services=mapreduce_shuffle
# mapreduce_shuffle 服务的实现类
YARN_CONF_yarn_nodemanager_auxServices_mapreduce___shuffle_class=org.apache.hadoop.mapred.ShuffleHandler
# 每个 NodeManager 可用内存（MB）
YARN_CONF_yarn_nodemanager_resource_memory___mb=2048
# 每个 NodeManager 可用 CPU 核数
YARN_CONF_yarn_nodemanager_resource_cpu___vcores=2
# 开启日志聚合（任务完成后将各节点日志汇总到 HDFS）
YARN_CONF_yarn_log___aggregation___enable=true
# 开启时间线服务（用于记录 Job 历史）
YARN_CONF_yarn_timeline___service_enabled=true
# 时间线服务所在主机（即 historyserver 容器）
YARN_CONF_yarn_timeline___service_hostname=historyserver
# 开启 ResourceManager 指标发布（将 Job 信息推送给时间线服务）
YARN_CONF_yarn_resourcemanager_system___metrics___publisher_enabled=true
# 开启历史服务
YARN_CONF_yarn_resourcemanager_history___service_enabled=true

# ============================================================
# MapReduce 配置 - 对应 mapred-site.xml
# ============================================================
# MapReduce 运行框架，使用 YARN
MAPRED_CONF_mapreduce_framework_name=yarn
# JobHistory Server RPC 地址
MAPRED_CONF_mapreduce_jobhistory_address=historyserver:10020
# JobHistory Server Web UI 地址
MAPRED_CONF_mapreduce_jobhistory_webapp_address=historyserver:8188
# ApplicationMaster 运行环境，指定 Hadoop 安装目录
MAPRED_CONF_yarn_app_mapreduce_am_env=HADOOP_MAPRED_HOME=/opt/hadoop-3.2.1
# Map Task 运行环境
MAPRED_CONF_mapreduce_map_env=HADOOP_MAPRED_HOME=/opt/hadoop-3.2.1
# Reduce Task 运行环境
MAPRED_CONF_mapreduce_reduce_env=HADOOP_MAPRED_HOME=/opt/hadoop-3.2.1
```

## docker-compose.yml
```yaml
services:
  namenode:
    image: bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8
    container_name: namenode
    hostname: namenode
    restart: always
    ports:
      - "9870:9870"
      - "9000:9000"
    volumes:
      - namenode_data:/hadoop/dfs/name
    environment:
      - CLUSTER_NAME=test
    env_file:
      - ./hadoop.env

  datanode1:
    image: bde2020/hadoop-datanode:2.0.0-hadoop3.2.1-java8
    container_name: datanode1
    hostname: datanode1
    restart: always
    depends_on:
      - namenode
    volumes:
      - datanode1_data:/hadoop/dfs/data
    env_file:
      - ./hadoop.env

  datanode2:
    image: bde2020/hadoop-datanode:2.0.0-hadoop3.2.1-java8
    container_name: datanode2
    hostname: datanode2
    restart: always
    depends_on:
      - namenode
    volumes:
      - datanode2_data:/hadoop/dfs/data
    env_file:
      - ./hadoop.env

  resourcemanager:
    image: bde2020/hadoop-resourcemanager:2.0.0-hadoop3.2.1-java8
    container_name: resourcemanager
    hostname: resourcemanager
    restart: always
    depends_on:
      - namenode
    ports:
      - "8088:8088"
    env_file:
      - ./hadoop.env

  nodemanager1:
    image: bde2020/hadoop-nodemanager:2.0.0-hadoop3.2.1-java8
    container_name: nodemanager1
    hostname: nodemanager1
    restart: always
    depends_on:
      - resourcemanager
    env_file:
      - ./hadoop.env

  nodemanager2:
    image: bde2020/hadoop-nodemanager:2.0.0-hadoop3.2.1-java8
    container_name: nodemanager2
    hostname: nodemanager2
    restart: always
    depends_on:
      - resourcemanager
    env_file:
      - ./hadoop.env

  historyserver:
    image: bde2020/hadoop-historyserver:2.0.0-hadoop3.2.1-java8
    container_name: historyserver
    hostname: historyserver
    restart: always
    depends_on:
      - namenode
    ports:
      - "8188:8188"
    volumes:
      - historyserver_data:/hadoop/yarn/timeline
    env_file:
      - ./hadoop.env

volumes:
  namenode_data:
  datanode1_data:
  datanode2_data:
  historyserver_data:
```
## hadoop.sh
```请在此输入代码块语言
#!/bin/bash
set -e

NAMENODE="namenode"
HDFS_CMD="hdfs dfs"

echo "========================================="
echo "  Hadoop Lab 操作助手"
echo "========================================="
echo ""

case "${1:-help}" in
  start)
    echo "🚀 启动 Hadoop 集群..."
    cd "$(dirname "$0")"
    docker compose up -d
    echo "⏳ 等待 NameNode 就绪..."
    sleep 20
    docker exec $NAMENODE hdfs dfsadmin -safemode wait 2>/dev/null || true
    echo "✅ 集群启动完成！"
    echo ""
    echo "  访问地址："
    echo "  ──────────────"
    echo "  HDFS Web UI:   http://localhost:9870"
    echo "  YARN Web UI:   http://localhost:8088"
    ;;

  stop)
    echo "🛑 停止 Hadoop 集群..."
    cd "$(dirname "$0")"
    docker compose down
    echo "✅ 已停止"
    ;;

  restart)
    $0 stop
    $0 start
    ;;

  shell)
    echo "📟 进入 NameNode 容器..."
    docker exec -it $NAMENODE bash
    ;;

  status)
    echo "📊 集群状态："
    docker compose ps
    echo ""
    docker exec $NAMENODE hdfs dfsadmin -report 2>/dev/null | head -20 || echo "NameNode 未就绪"
    ;;

  ls)
    docker exec $NAMENODE $HDFS_CMD -ls "${2:-/}"
    ;;

  put)
    if [ -z "$2" ]; then
      echo "用法: $0 put <本地文件> [HDFS目标路径]"
      exit 1
    fi
    docker exec -i $NAMENODE $HDFS_CMD -put - "${3:-/}" < "$2"
    ;;

  get)
    if [ -z "$2" ]; then
      echo "用法: $0 get <HDFS路径>"
      exit 1
    fi
    docker exec $NAMENODE $HDFS_CMD -get "$2" /tmp/$(basename "$2")
    echo "已下载到 NameNode 容器内 /tmp/ 目录"
    ;;

  wordcount)
    echo "📝 运行 WordCount 示例..."
    docker exec $NAMENODE hdfs dfs -mkdir -p /input 2>/dev/null || true
    echo "hello world hello hadoop hello yarn hello hdfs" | \
      docker exec -i $NAMENODE hdfs dfs -put - /input/words.txt
    docker exec $NAMENODE hadoop jar \
      /opt/hadoop-3.2.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar \
      wordcount /input /output 2>&1 | tail -10
    echo ""
    echo "📄 结果："
    docker exec $NAMENODE hdfs dfs -cat /output/part-r-00000
    ;;

  clean)
    echo "🧹 清理所有数据（重建环境）..."
    cd "$(dirname "$0")"
    docker compose down -v
    echo "✅ 已清理"
    ;;

  *)
    echo "用法: $0 <命令>"
    echo ""
    echo "  命令："
    echo "    start      启动集群"
    echo "    stop       停止集群"
    echo "    restart    重启集群"
    echo "    status     查看状态"
    echo "    shell      进入 NameNode 容器"
    echo "    ls [路径]  查看 HDFS 文件"
    echo "    put <文件> [目标]  上传文件到 HDFS"
    echo "    get <路径>  从 HDFS 下载文件"
    echo "    wordcount  运行 WordCount 示例"
    echo "    clean      清理所有数据和容器"
    ;;
esac
```
# 重点知识

**重点1：HDFS 核心概念**

```
文件切块（Block）  默认 128MB，分散存储在 DataNode
副本机制           replication=2，同一 Block 存两份，容灾
NameNode          只存元数据，是 HDFS 的单点（生产要做 HA）
DataNode          实际存 Block，定期向 NameNode 发心跳
数据本地化         计算尽量调度到有数据的节点，减少网络传输
```

**重点2：YARN 调度流程**
```
① 客户端提交 Job
② ResourceManager 启动 ApplicationMaster
③ ApplicationMaster 向 NameNode 查询数据位置
④ ApplicationMaster 向 ResourceManager 申请容器
⑤ 在 NodeManager 上启动 MapTask / ReduceTask
⑥ Job 完成，历史数据推送给 historyserver
```

**重点3：MapReduce 三阶段**
```
Map 阶段      读取输入，切词，输出 (word, 1)
Shuffle 阶段  按 key 哈希路由 + 排序 + 网络传输（性能瓶颈）
Reduce 阶段   对同一 key 的所有 value 求和，输出结果
```

**重点4：Combiner 优化**
```
运行在 Map 端本地，提前预聚合
(hello,1)(hello,1)(hello,1)(hello,1)  →  (hello,4)
网络传输量从 4 条变 1 条
只适用于满足交换律和结合律的计算（求和 求平均）
```

**重点5：Writable 序列化**
```
不用 Java 原生类型的原因：需要网络传输和磁盘读写
Text        →  替代 String
IntWritable →  替代 int
成员变量复用对象，避免频繁 GC（高频调用场景的优化技巧）
```

**重点6：生产环境存储格式**
```
TextFile   →  STG层原始数据，可读性好但性能差
ORC        →  ODS/DWD/DWS层，列式存储，压缩率高，查询快
Parquet    →  Spark 生态首选，嵌套数据结构更强
```

**重点7：MapReduce 的局限性**
```
结果每次写磁盘  →  IO 开销大
不支持迭代计算  →  机器学习场景无法胜任
算子少          →  表达能力弱
以上问题 Spark 全部解决
```
# 后续路径

```
Hadoop（ 完成）
    │
Hive
├── 在 HDFS 上建表（ORC格式）
├── 用 SQL 描述 MapReduce 逻辑
└── 对接 ODS / DWD / DWS 层

    │
Spark
├── 内存计算，比 MapReduce 快 100 倍
├── 支持迭代计算
└── Hive on Spark 替代 Hive on MapReduce
    │
DataX
├── 采集医院源系统数据
└── 落地 STG 层
    │
完整链路
医院数据 → STG → ODS → DWD → DWS → PostgreSQL → DataGuardian平台
```
----






打通完整的大数据数仓链路：医院数据 → STG → ODS → DWD → DWS → PostgreSQL

Hadoop 学习总结（1）-Hadoop搭建

- 在本地搭建一个可运行的 Hadoop 伪分布式集群
- 理解 Hadoop 的核心组件和工作原理
- 跑通 WordCount 验证集群可用性

软件开发工程师

大数据

学习Hadoop伪分布式集群搭建，掌握HDFS、YARN、MapReduce核心原理，通过WordCount案例实践大数据处理流程，为后续Hive、Spark、DataX学习奠定基础，构建完整数仓链路。

数据治理

代码解释

文件系统

机器学习

容器编排

数据结构

PostgreSQL

MapReduce

容灾

路由

Python

Hadoop 

Docker

容器

Spark 

Hive

Java

HDFS

2026上云采购 | AI焕新·智启新局

bigdata-class

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

Hadoop 学习总结（1）-Hadoop搭建-腾讯云开发者社区-腾讯云

Hadoop 学习总结（1）-Hadoop搭建

Hadoop 学习总结（1）-Hadoop搭建

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐