Every Day of a DBA，第141期:HDFS DataNode 块校验日志 dncp_block_verification.log.prev 的处理

用户3107127

发布于 2026-07-09 16:06:23

作者：bytehouse

Oracle ACE、PostgreSQL ACE

10+年数据库架构与运维实战经验

公众号：bytehouse

墨天轮专栏：bytehouse

CSDN：Young DBA

摘要：

服务器磁盘故障，未及时处理，导致其他节点的磁盘空间爆满，查看磁盘占用发现了该文件 dncp_block_verification.log.prevdncp_block_verification.log.curr。分析该文件产生的原因和处理过程。

一、目录结构与文件说明

1. DataNode 标准存储目录（你的现场结构）

hdfsdata/
├── current
│   ├── BP-xxx-NameNodeIP-时间戳  # BlockPool 目录
│   │   ├── current               # 真实数据目录
│   │   │   ├── VERSION
│   │   │   ├── finalized         # 已完成写入的正式数据块
│   │   │   │   └── subdir0/subdir1/blk_xxx / blk_xxx.meta
│   │   │   ├── lazyPersist
│   │   │   └── rbw               # 正在写入的数据块（Replica Being Written）
│   │   ├── dncp_block_verification.log.curr  # 当前块校验日志
│   │   ├── dncp_block_verification.log.prev  # 历史滚动日志（占用空间大的文件）
│   │   └── tmp
│   └── VERSION
└── in_use.lock  # 锁文件，防止多进程同时挂载目录

2. 核心文件释义

BP-xxx 目录：BlockPool，格式 BP-随机数-NameNode地址-集群创建时间，HDFS 块池目录。
finalized / rbw
- finalized：存储已落地完成的 HDFS 数据块 blk_xxx，搭配 .meta 校验和文件；
- rbw：存储正在写入的临时数据块。
dncp_block_verification.log
- 作用：记录每个数据块的 checksum 校验结果、扫描时间，用于数据完整性校验；
- .curr：当前正在写入的校验日志；
- .prev：日志滚动后归档的旧日志，本次占用大量空间的目标文件。
in_use.lock：目录锁，避免多个 DataNode 进程同时操作数据目录，造成数据损坏。

二、文件暴涨原因分析

dncp_block_verification.log.prev 异常增大，本质是 DataNode 频繁执行块校验，日志持续刷写：

磁盘硬件异常：磁盘坏道、IO 报错，DataNode 反复重试校验数据块；
HDFS 数据异常：集群存在损坏块、丢失副本，触发全量扫描校验；
配置不合理：日志行数上限过大、日志滚动间隔太短，导致日志无限膨胀。

重要结论：.prev 为归档旧日志，清空/删除不会影响 HDFS 数据与业务；严禁直接删除 .curr 日志（建议停服务后操作）。

三、实操步骤（按顺序执行）

步骤1：定位文件 & 查看占用大小

假设 DataNode 根目录为 /hdfsdata，执行以下命令：

# 1. 查找所有校验日志文件
find /hdfsdata -name"dncp_block_verification.log.*"

# 2. 查看 .prev 文件占用空间
du -sh /hdfsdata/current/BP-*/dncp_block_verification.log.prev

步骤2：紧急清理（在线执行，无需停服务，推荐）

采用清空文件方式（保留文件句柄，无进程影响、零风险）：

# 方式1：truncate 清空（推荐）
truncate -s0 /hdfsdata/current/BP-*/dncp_block_verification.log.prev

# 方式2：重定向清空（等效）
> /hdfsdata/current/BP-*/dncp_block_verification.log.prev

备选方案：直接删除（需停止 DataNode）

若需要彻底删除文件，先停服务再操作，避免句柄残留：

# 1. 停止 DataNode 服务
systemctl stop hadoop-hdfs-datanode

# 2. 删除旧日志
rm-f /hdfsdata/current/BP-*/dncp_block_verification.log.prev

# 3. 重启 DataNode
systemctl start hadoop-hdfs-datanode

步骤3：根因排查（避免日志再次暴涨）

清理后必须排查异常，否则问题会反复出现：

# 1. 查看 DataNode 运行日志，检索 IO/块校验报错
tail -f /var/log/hadoop-hdfs/hadoop-hdfs-datanode-*.log | grep-i error

# 2. 检查服务器磁盘硬件状态
dmesg | grep-i error
smartctl -a /dev/sdX  # 替换为数据盘盘符

# 3. 检查 HDFS 集群损坏数据块
hdfs fsck / -list-corruptfileblocks

步骤4：永久优化配置（所有 DataNode 节点统一修改）

修改 HDFS 配置文件 hdfs-site.xml，限制日志大小与滚动频率：

<!-- 限制块校验日志最大行数，避免无限膨胀 -->
<property>
    <name>dfs.datanode.block.verification.log.max.lines</name>
    <value>100000</value>
</property>

<!-- 日志最小滚动间隔（单位：毫秒），设置为1小时，避免频繁生成 .prev 日志 -->
<property>
    <name>dfs.datanode.block.verification.log.min.rolling.period</name>
    <value>3600000</value>
</property>

配置生效：重启 DataNode 服务