磁盘满导致集群只读？ EMR 磁盘监控与自动扩容方案

摘要：

EMR 集群磁盘空间不足会导致节点不健康、集群性能下降甚至只读。本文介绍腾讯云弹性 MapReduce 的磁盘监控配置、告警策略设置方法，以及云数据盘扩容和自动伸缩方案，帮助运维人员建立完善的磁盘管理机制，保障集群稳定运行。

一、磁盘满导致集群只读的问题分析

在大数据集群运行过程中，磁盘空间不足是一个常见且影响较大的问题。当 EMR 集群的 Core 节点磁盘利用率超过一定阈值时，会触发一系列保护机制，进而影响集群的正常使用。

根据腾讯云官方文档说明，当 Core 节点磁盘利用率超过 90% 时， NodeManager 会将该节点置为不健康状态（ Unhealthy Nodes ）。这意味着该节点将无法接收新的计算任务，集群的计算能力会相应下降。如果多个节点出现此问题，集群的整体性能将受到严重影响。

除了 NodeManager 标记节点不健康之外， HDFS 存储空间使用率超过配置阈值时，也会影响 HDFS 数据的正常写入。在 EMR 控制台的事件监控中，会出现"HDFS 存储空间使用率持续高于阈值"的告警事件，提示管理员需要尽快处理磁盘空间问题。

磁盘空间不足还会导致单个磁盘的 IO 利用率持续高于阈值，出现"单盘 IO 设备利用率持续高于阈值"的告警。这会影响集群的正常读写性能，导致任务执行变慢。

二、 EMR 磁盘监控体系

腾讯云弹性 MapReduce 提供了全面的监控告警服务，帮助运维人员及时发现磁盘空间问题。监控体系分为服务监控和主机监控两大模块。

2.1 主机监控磁盘指标

主机监控功能可以深入到每个计算节点，实时查看 CPU 、内存、磁盘、网络等资源使用情况。对于磁盘监控， EMR 提供了以下关键指标：

磁盘空间使用率（ used_all ）是核心监控指标之一。该指标反映节点磁盘的已使用空间占比。当磁盘空间使用率超过 80% 时，建议触发告警，以便在磁盘利用率达到 90% 之前采取措施。

inode 使用率也是需要关注的指标。当 inode 使用率超过 50% 时，即使磁盘空间还有剩余，也无法创建新的文件。默认告警策略中设置了 inode 使用率超过 50% 的告警条件。

单盘 IO 利用率是反映磁盘性能的指标的。当单个磁盘的 IO 设备利用率持续高于阈值时，会在集群事件中产生告警，提示运维人员需要关注磁盘性能问题。

2.2 服务监控 HDFS 指标

服务监控页面展示 HDFS 、 YARN 、 Hive 等核心组件的运行指标。对于磁盘管理， HDFS 相关的存储指标尤为重要：

HDFS 存储空间使用率（ capacityused ）反映整个 HDFS 文件系统的存储使用情况。当 HDFS 已用存储空间接近总容量时，需要清理无用文件或扩容 Core 节点。

HDFS 缺失块统计（ NumberOfMissingBlocks ）指标可以帮助发现数据块丢失问题，这与磁盘故障有一定关联。

2.3 事件监控

EMR 的事件监控功能可以自动记录集群运行中的重要事件，包括磁盘相关的告警事件。通过查看集群事件，可以了解磁盘空间问题的发生时间和处理情况。

在 EMR 控制台的"集群监控"下的"集群事件"页面，可以查看"HDFS 存储空间使用率持续高于阈值"、"单盘 IO 设备利用率持续高于阈值"等磁盘相关告警事件。

三、配置磁盘监控告警策略

为了及时发现磁盘空间问题，需要在 EMR 中配置合理的磁盘监控告警策略。腾讯云提供了默认告警策略，也可以根据业务需求自定义告警策略。

3.1 默认告警策略

腾讯云弹性 MapReduce 的默认告警策略已经包含了一些磁盘相关的告警条件：

对于 EMR 主机监控磁盘，默认策略设置了磁盘空间使用率（ used_all ）超过 80% 的告警条件，统计粒度为 1 分钟，连续 5 次满足条件则告警一次。

默认策略还设置了 inode 使用率超过 50% 的告警条件，统计粒度为 1 分钟，连续 5 次满足条件则告警一次。

对于 EMR 集群监控中的 HDFS 指标，默认策略也设置了 HDFS 存储空间使用率的告警条件。

3.2 自定义告警策略

如果默认告警策略不能满足业务需求，可以在云监控控制台自定义告警策略。配置告警策略的主要步骤包括：

首先确定告警对象，选择需要监控的 EMR 集群和节点类型。

然后配置触发条件。触发条件由指标、比较关系、阈值、统计周期和持续周期组成。例如，可以设置磁盘空间使用率指标，比较关系为大于，阈值为 85%，统计周期为 5 分钟，持续周期为 2 个周期。这表示每 5 分钟收集一次磁盘空间使用率数据，若连续两次大于 85% 则触发告警。

接着配置告警渠道，设置告警接收组、有效时段和接收渠道（邮件、短信、微信等）。

3.3 告警通知优化

为了避免告警过于频繁造成骚扰，可以配置重复通知策略。可选的不重复、 5 分钟、 10 分钟、周期指数递增等重复频率。周期指数递增的含义是当该告警第 1 次、第 2 次、第 4 次、第 8 次等被触发时，向接收人发送告警信息，告警信息发送时长间隔将越来越长。

四、 EMR 磁盘扩容方案

当监控告警发现磁盘空间不足时，需要及时进行扩容操作。腾讯云 EMR 提供了云数据盘扩容功能，可以在不中断集群服务的情况下扩展磁盘容量。

4.1 云数据盘扩容操作

随着业务增长，集群中节点数据存储空间不足时，可以通过 EMR 控制台对云数据盘进行扩容。

在进行扩容操作之前，需要注意以下限制条件：

仅支持云数据盘扩容，本地盘不支持扩容。 POD 、共享资源节点不支持扩容云硬盘。

建议执行扩容操作前对云硬盘制作快照，防止因误操作造成文件系统损坏。

为防止数据丢失，硬盘只可扩容不可缩容。

多节点批量操作云数据盘扩容时，仅支持相同计费模式、可用区、资源类型和节点类型的节点批量操作。

扩容操作的具体步骤如下：

首先登录 EMR 控制台，在集群列表中单击对应的集群 ID 或名称，进入集群详情页。

然后进入资源管理页，根据需要选择单节点操作或批量操作方案。对于单节点扩容云数据盘，选择需要扩容的节点，在列表操作处选择"更多 > 磁盘调整 > 云数据盘扩容"。对于多节点批量扩容云数据盘，在表头"更多操作"中选择"磁盘调整 > 云数据盘扩容"。

在弹出的"选择目标硬盘"窗口中选择需要扩容的云硬盘，并单击"下一步"。

在"调整容量"步骤中，设置统一目标容量（必须大于当前容量），调整后所选数据盘的容量将变为相同大小。

确认信息无误后，单击"确定"，开始扩容云数据盘。

磁盘扩容后，系统将自动扩容分区及文件系统，无需手动更新。

4.2 扩容后的验证

扩容操作完成后，需要在 EMR 控制台确认磁盘容量已经更新。可以进入"集群监控"下的"集群事件"，检查告警是否已经恢复。

如果扩容后告警仍未恢复，需要检查扩容操作是否成功，以及文件系统是否已经扩展。

4.3 HDFS 数据均衡

在 Core 节点磁盘扩容之后，如果 HDFS 数据存储不均衡，可以执行 HDFS Balancer 操作，将数据进行均衡分布，提高集群的存储利用率。

EMR 支持 HDFS 主备切换及数据均衡可视化操作，可以在服务管理中的 HDFS 高阶运维功能中执行数据均衡。

五、 EMR 自动伸缩方案

除了手动扩容磁盘之外，还可以通过 EMR 的自动伸缩功能，根据业务负载自动调整集群的计算资源，间接缓解磁盘空间压力。

5.1 自动伸缩功能介绍

当集群负载随业务发生变化时，可在弹性 MapReduce 中通过配置伸缩规则，自动补充或缩减 Task 节点计算资源，在快速响应计算需求变化的同时节约成本。

自动伸缩支持按负载伸缩和时间伸缩两种伸缩策略。负载伸缩适用于 Hadoop 、 StarRocks 和 RSS 等集群类型。

自动伸缩默认关闭，需要在 EMR 控制台中手动开启。伸缩分类支持自定义伸缩、伸缩组伸缩和托管伸缩，且三选一。

5.2 自定义伸缩

自定义伸缩支持负载伸缩和时间伸缩策略，可以根据业务需要选择对应策略设置伸缩规则，也支持时间伸缩和负载伸缩混合弹性规则设置。

规则触发遵循"先触发先执行，同时触发根据规则优先顺序执行"的规则。

在配置负载伸缩规则时，可以选择与磁盘空间相关的 YARN 指标作为触发条件，例如 yarn_resourcemanager_queue_AvailableMBPercentage （ root 队列可用内存资源所占百分比）等指标，当可用资源不足时自动扩容 Task 节点。

5.3 托管伸缩

托管伸缩是一种更为智能的伸缩方式，无需配置复杂的规则， EMR 通过持续评估集群资源情况自动进行伸缩。

托管伸缩资源类型仅支持 HOST 。托管伸缩可以自动探测 Task 节点或 Router 节点异常，并自动更换出现异常的节点，提高集群的可用性。

5.4 自动伸缩与磁盘管理的关系

虽然自动伸缩主要是针对计算资源的调整，但在某些场景下也可以间接缓解磁盘空间压力。例如，当某些 Task 节点的本地磁盘使用率较高时，通过自动伸缩添加新的 Task 节点，可以将部分计算任务分配到新节点上执行，从而降低原有节点的磁盘使用压力。

此外，自动伸缩还可以与云数据盘扩容配合使用。当监控发现磁盘空间不足时，可以先通过自动伸缩添加节点来分担负载，然后在对原有节点进行磁盘扩容操作，这样可以降低扩容操作对业务的影响。

六、磁盘管理最佳实践

基于腾讯云 EMR 的产品功能和官方建议，以下是一些磁盘管理的最佳实践。

6.1 建立多层监控体系

建议在多个层面建立磁盘监控，包括主机监控层面的磁盘空间使用率、 inode 使用率，以及服务监控层面的 HDFS 存储空间使用率。

将告警阈值设置为 80% 至 85%，以便在磁盘利用率达到 90% 之前有足够的时间进行处理。

6.2 定期清理磁盘空间

定期清理 HDFS 集群中的无用文件和目录，释放存储空间。可以用 hadoop 用户登录集群节点，选择并确认是无用的文件或目录，执行 hdfs dfs -rm -r 命令删除文件。

注意，选项 -skipTrash 将跳过回收站（如果启用）并立即删除指定的文件，使用时需要谨慎。

除了清理 HDFS 数据之外，还需要定期清理 Core 节点本身的本地存储空间，包括日志文件、临时文件等。

6.3 合理规划磁盘容量

在创建 EMR 集群时，需要根据业务数据量合理规划 Core 节点的磁盘容量。考虑到数据增长和副本存储，建议预留足够的存储空间。

对于数据量较大的场景，可以考虑使用计算存储分离的架构，将数据存储到对象存储 COS 中，降低对本地磁盘的依赖。

6.4 使用高性能磁盘类型

对于 IO 密集型的大数据工作负载，建议使用高 IO 型的云硬盘或本地盘，提高磁盘的读写性能。

在 EMR 控制台中，可以选择不同性能的云硬盘类型，包括高性能云硬盘、 SSD 云硬盘等。

6.5 建立应急预案

制定磁盘空间问题的应急预案，明确在不同情况下的处理流程和责任人。

当收到磁盘空间告警时，根据告警级别采取不同的处理措施。对于紧急告警，需要立即进行扩容或清理操作，避免影响业务。

七、总结

EMR 集群的磁盘空间管理是保障集群稳定运行的重要环节。通过配置完善的磁盘监控告警策略，可以及时发现磁盘空间问题。通过云数据盘扩容功能，可以在不中断服务的情况下扩展磁盘容量。通过自动伸缩功能，可以根据业务负载自动调整集群资源。

结合腾讯云弹性 MapReduce 提供的监控告警、磁盘扩容、自动伸缩等功能，可以建立一套完整的磁盘管理方案，有效避免磁盘满导致的集群只读问题，保障大数据作业的稳定执行。

了解更多产品详情：腾讯云 EMR 产品页