Hive 元数据压力太大？ EMR 统一元数据库 + 冷热分层方案

摘要：

Hive 元数据随业务增长呈爆炸式膨胀，导致查询延迟增大、并发阻塞等问题。腾讯云 EMR 提供统一元数据库实现多集群元数据共享，结合冷热分层存储和存算分离架构，降低元数据管理压力和存储成本。

一、 Hive 元数据的压力来源

在 Hadoop 生态中， Hive MetaStore 负责存储所有表、分区以及数据库的元数据信息。随着企业数据规模持续扩大，元数据本身也在呈爆炸式增长，给 MetaStore 服务带来多重压力。

1.1 元数据规模膨胀

在业务快速发展的场景下， Hive 表的分区数量可以达到百万甚至千万级别。每个分区都会在 MetaStore 中产生相应的元数据记录，当分区数量持续增长时，元数据查询和维护变得困难。

元数据库表设计采用三范式，表的外键很多、关联很多。以 PARTITIONS 表为中心的 ER 结构涉及多个关联表，每次查询库表分区信息时需要关联多张表，查询时延会随着数据量增大而增加。

1.2 查询性能瓶颈

当元数据规模达到较大量级时，以下情况会导致查询性能下降：

• 并发请求较多时， MetaStore 查询元数据可能出现阻塞
• 查询计划生成时间随着元数据规模的增大而线性增长
• 频繁的数据写入操作产生大量小文件，每个小文件都对应 MetaStore 中的元数据记录，增加了元数据管理的复杂度

1.3 集群销毁导致元数据丢失

使用本地 MySQL 作为 Hive 元数据库时，元数据存储于集群节点上，当集群销毁时，元数据也会随之删除。对于按需创建和销毁的集群场景，每次都需要手动导出和导入元数据，操作繁琐且存在数据丢失风险。

二、 EMR 统一元数据库方案

腾讯云弹性 MapReduce （ EMR ）在配置 Hive 组件时，提供了两种 Hive 元数据存储方式，其中关联外部元数据库的方案可以有效解决元数据压力和共享问题。

2.1 两种元数据存储方式

EMR 集群部署 Hive 组件时，系统提供以下元数据存储方式：

2.2 统一元数据库的核心价值

选择关联 EMR-MetaDB 或自建 MySQL 作为 Hive 元数据库，可以获得以下能力：

元数据独立持久化。 Hive 元数据存储于关联的数据库中，不随集群销毁而销毁。当需要释放集群或调整集群配置时，元数据始终保留，无需手动导出和导入。

多集群共享元数据。多个 EMR 集群可以关联同一个元数据库，实现跨集群的元数据共享。当数据存放于统一对象存储（如 COS 或 CHDFS ）时，多个集群可以同时访问同一数据集，无需进行数据迁移或元数据重构。

降低元数据管理成本。无需为每个集群单独购买 MetaDB 实例存储 Hive 元数据，已有 MetaDB 可以被多个集群共用，减少资源重复购买。

元数据可靠性保障。将 Hive 元数据存放于 MetaDB 时，元数据可靠性可达 99.9996%，保障元数据的安全。

2.3 配置统一元数据库

在 EMR 控制台创建集群时，选择 Hive 组件后，可以在配置页面选择元数据库存储方式。选择"关联 EMR-MetaDB"时，系统会拉取云上可用的 MetaDB 实例供选择。确保关联的 EMR-MetaDB 与新建集群在同一网络环境下。

对于未安装 Hive 组件的已有集群，可以通过新增组件的方式安装 Hive ，并在安装过程中选择关联外部元数据库。

三、冷热分层存储方案

随着数据积累，存储成本逐渐成为大数据平台的重要开支。 EMR 支持多种存储策略，通过冷热分层方案降低存储成本。

3.1 存算分离架构

EMR 支持将计算资源和存储资源分开部署。数据可以存放于对象存储 COS 或云 HDFS （ CHDFS ），集群本身作为计算资源，可以根据业务需求创建或销毁，无需进行元数据迁移。

存算分离架构的优势包括：

• 集群可以按需创建或销毁，计算资源不闲置
• 数据持久化存储于 COS 或 CHDFS ，存储成本较 HDFS 三副本方案有效降低 28% 至 50%
• 多个计算集群可以同时访问同一份存储数据，适合多团队协同分析场景

3.2 HDFS 存储策略

对于仍在使用 HDFS 存储数据的场景， EMR 支持 HDFS 存储策略，通过不同类型存储介质的搭配实现冷热数据分层。

HDFS 存储类型包括：

对应的存储策略包括：

• Hot （热）：所有副本存储于 DISK 或 SSD ，适用于高频访问数据
• Warm （温）：一个副本存储于 DISK ，其余副本存储于 ARCHIVE ，适用于温数据
• Cold （冷）：所有副本存储于 ARCHIVE ，适用于归档或极少访问数据
• All_SSD：所有副本存储于 SSD ，适用于极高 IO 需求数据

3.3 智能存储策略调度

EMR 支持根据数据的访问时间自动调整存储策略。对于启用智能策略的目录，在指定周期内没有访问记录的子目录会被自动降级存储策略等级。

具体逻辑为：热数据存储策略为 Hot ，温数据存储策略为 Warm ，冷数据存储策略为 Cold 。通过智能调度，热数据保持在高性能存储介质上，冷数据自动沉降到低成本存储介质，在保障性能的同时降低存储成本。

3.4 冷热数据划分实践

在实际业务中，数据的访问频率通常随时间衰减。以离线数据分析场景为例，当天产生的数据在随后几天内会被频繁查询，而一周前的数据访问频率明显下降。

基于此特点，可以将数据按访问频率划分为热数据和冷数据：

• 热数据：近期产生的数据，存放于 HDFS ，保障数据任务的执行效率
• 冷数据：较早产生的数据，迁移到对象存储 COS 中，降低存储成本

冷数据迁移到 COS 后，仍可以通过 EMR 集群进行查询分析，只是读取性能会有所降低。对于归档类查询场景，这种性能换成本的方式具有实际价值。

四、统一元数据 + 冷热分层的协同价值

将 EMR 统一元数据库和冷热分层存储结合使用，可以构建一个弹性、低成本的大数据分析和存储架构。

4.1 集群联邦架构

通过统一 Hive 元数据库和统一对象存储的组合，可以实现跨集群的同数据集分析架构。多个 EMR 集群可以共享同一份元数据和同一份存储数据，每个集群可以专注于不同的计算任务（如离线计算、交互式查询、机器学习等），互不干扰但数据共享。

在这种架构下，集群可以根据业务特点灵活创建或销毁。当某个计算任务完成后，对应的集群可以释放，而元数据和存储数据不受影响。需要启动新任务时，创建新集群并关联已有元数据库即可，无需数据迁移。

4.2 自动伸缩降低计算成本

EMR 支持根据业务运行时间特点和负载特点自动伸缩 Task 节点。结合存算分离架构，当计算需求增加时自动扩容，需求减少时自动缩容，减少资源闲置成本。

对于有明显业务高峰和低谷的场景，自动伸缩能力可以让集群规模与实际负载匹配，避免为了应对短时高峰而长期维持大规模集群。

4.3 元数据管理最佳实践

在配置 EMR 统一元数据库时，需注意以下事项：

• 关联 EMR-MetaDB 时，需保持元数据库与集群在同一网络环境下
• 关联自建 MySQL 时，需确保自建数据库与 EMR 集群网络打通，且自建数据库中的 Hive 元数据版本不低于新集群中的 Hive 版本
• 当选择 Hue 、 Ranger 、 Oozie 、 Superset 等需要存储元数据的组件时，系统会自动购买一个 MetaDB 用于这些组件的元数据存储，该 MetaDB 与 Hive 元数据库相互独立

五、总结

Hive 元数据压力是大数据平台规模化后的普遍问题，表现为元数据规模膨胀、查询延迟增大、并发阻塞等。腾讯云 EMR 通过统一元数据库方案，实现元数据独立持久化和多集群共享，解决集群销毁导致元数据丢失的问题。结合冷热分层存储和存算分离架构，在保障查询性能的同时降低存储和计算成本。

了解更多产品详情： https://cloud.tencent.com/product/emr