数据湖格式选型： Iceberg on EMR 为什么比 Hudi 更受国内企业青睐

摘要：

数据湖格式选型是企业构建大数据平台的关键决策。本文从技术架构、性能优化、企业落地等维度，对比 Apache Iceberg 与 Apache Hudi 的差异，分析 Iceberg on EMR 在国内企业中的应用优势。

一、引言

随着企业数据规模持续增长，数据湖已成为大数据架构的核心组成部分。在数据湖表格格式的选择上， Apache Iceberg 和 Apache Hudi 是当前主流的两大开源方案。两者都致力于解决数据湖的 ACID 事务、时间旅行、增量处理等问题，但在架构设计、性能优化机制、企业落地适配等方面存在显著差异。

在国内企业的实际选型中， Iceberg on EMR （弹性 MapReduce ）的组合逐渐获得更多青睐。本文将从技术原理、性能表现、运维成本、企业适配等多个维度，深入分析这一趋势背后的原因。

二、 Apache Iceberg 与 Hudi 技术概览

2.1 Apache Iceberg 的核心设计理念

Apache Iceberg 是一种开放的表格格式，专为大规模数据集设计。其核心价值在于解决了传统数据湖在元数据管理、查询性能、模式演进等方面的痛点。

Iceberg 的架构设计具有以下特点：

1. 双层元数据管理： Iceberg 使用清单文件（ Manifest files ）和清单列表（ Manifest list ）两层元数据结构，实现高效的数据文件过滤。清单列表记录每个清单文件的分区值范围，查询时先根据分区范围过滤清单文件；清单文件则记录数据文件的分区信息和列级统计（值计数、空值计数、列值上下界等），进一步剔除不符合查询条件的数据文件。
2. 隐藏分区机制： Iceberg 支持隐藏分区，用户无需在查询中显式指定分区字段，引擎会自动根据分区信息优化查询。同时支持分区演进，可以在不重写数据的情况下修改分区策略。
3. 模式演进： Iceberg 支持灵活的 Schema 演进，包括添加列、删除列、重命名列、重排序列等操作，且这些操作不会破坏数据的向后兼容性。
4. 可序列化隔离： Iceberg 通过乐观并发控制实现可序列化隔离级别，保证多个并发写入的一致性。

2.2 Apache Hudi 的核心设计理念

Apache Hudi （ Hadoop Upserts Deletes and Incrementals ）开创了事务性数据湖的概念，如今已发展为开放数据湖仓平台。 Hudi 的核心定位是为高性能和增量数据管道提供优化，同时支持快速的查询性能。

Hudi 的架构设计特点包括：

1. 表类型支持： Hudi 支持 COPY_ON_WRITE （写时复制）和 MERGE_ON_READ （读时合并）两种表类型，分别适用于不同的读写场景。
2. 时间线管理： Hudi 通过时间线（ Timeline ）管理事务和其他表服务，记录所有的表操作历史。
3. 索引机制： Hudi 提供多种高级索引（ Bloom Filter 、 HBase 、一致性哈希等），支持高效的 upsert 和 delete 操作。
4. Clustering 优化： Hudi 的 Clustering 功能可以在不影响数据摄入的前提下优化数据布局，支持小文件合并和按排序列重组数据。

三、 Iceberg Z-Order 算法：性能优化的关键技术

在 Iceberg 的性能优化体系中， Z-Ordering 是一项重要的数据布局优化技术。 Z-Order （ Z 曲线排序）是一种空间填充曲线，可以将多维数据映射到一维空间，使得在多个维度上相邻的数据在物理存储上也尽可能相邻。

3.1 Z-Order 的原理与价值

传统的数据布局通常按照单个字段（如时间）进行排序，这在按时间范围查询时效率较高，但在按其他字段查询时就无法跳过无关数据。 Z-Ordering 通过多维排序，使得数据在多个查询维度上都能实现较好的局部性。

具体价值体现在：

1. 多维度查询优化：当查询涉及多个字段的过滤条件时， Z-Ordering 可以显著提升数据跳跃（ Data Skipping ）的效率，减少需要扫描的数据量。
2. 减少小文件问题： Z-Ordering 通常配合数据文件重写（ Rewrite Data Files ）操作，可以将小文件合并为大文件，提升查询性能。
3. 适配多引擎查询： Z-Ordering 优化后的数据布局，对于 Spark 、 Presto 、 Trino 等多种查询引擎都能带来性能提升。

3.2 Iceberg on EMR 的 Z-Order 增强

腾讯云 EMR 在 Iceberg 的社区版本基础上，提供了 Z-Order 算法的增强优化。根据产品资料，这一增强优化在特定场景下可以实现 10 倍以上的性能提升。

EMR 的 Iceberg Z-Order 增强主要体现在：

1. 自动化 Z-Order 布局： EMR 提供了自动化的数据布局优化工具，可以按照配置的字段自动执行 Z-Ordering ，降低运维成本。
2. 与存算分离架构适配： EMR 的 Iceberg Z-Order 优化充分考虑了存算分离场景（数据存储在对象存储 COS 上）的特性，优化了数据重写的效率和成本控制。
3. 多维度 Z-Order 支持：支持对多个字段执行 Z-Ordering ，适配复杂的多维查询场景。

四、 Iceberg 与 Hudi 的技术对比

4.1 元数据管理架构对比

Iceberg 的双层元数据设计使得查询规划可以在单节点完成，这对于大规模表的读取尤为重要。而 Hudi 的时间线设计在处理超大规模表时，可能面临元数据读取的性能挑战。

4.2 写入性能对比

Hudi 在 upsert 和增量写入场景下有天然优势，特别适合 CDC （变更数据捕获）和流式数据摄入场景。 Iceberg 的写入性能在批量场景下表较好，且随着社区发展，流式写入能力也在持续增强。

4.3 查询性能对比

Iceberg 的元数据设计使得查询引擎可以高效地定位需要扫描的数据文件，在大规模数据集的扫描场景下表现优异。特别是在配合 Z-Ordering 优化后，多维查询的性能提升较为明显。

4.4 运维复杂度对比

从运维角度， Iceberg 的元数据结构相对清晰，快照管理直观，运维人员可以较容易地理解表的状态。 Hudi 的功能丰富，但相应地也增加了运维的复杂度，特别是在处理 Clustering 、 Compaction 等服务时，需要仔细配置以避免影响线上业务。

五、为什么国内企业更青睐 Iceberg on EMR

5.1 存算分离架构的适配优势

国内企业在大数据平台建设中，越来越倾向于采用存算分离的架构。存算分离可以带来以下好处：

• 成本优化：计算资源和存储资源独立扩缩容，避免资源浪费。根据 EMR 产品资料，存算分离方案可以使得成本降低 28%至 50%。
• 弹性伸缩：计算资源可以根据业务负载自动伸缩，应对业务波峰波谷。
• 多集群共享数据：多个 EMR 集群可以共享同一份数据（存储在 COS 上），支持不同的计算任务并行执行。

Iceberg 的元数据设计天然适配存算分离架构。清单文件和快照信息相对较小，可以高效地承载在对象存储上。而 Hudi 的时间线和索引设计，在存算分离场景下可能需要额外的优化和配置。

EMR 提供了完善的存算分离支持，包括：

• 数据可以存储在对象存储 COS 或云 HDFS 上
• 支持跨集群共享同一份数据，构建集群联邦
• 与 Alluxio 透明加速集成，提升存算分离场景下的读取性能

5.2 开源增强带来的性能优势

EMR 在 Iceberg 社区版本的基础上，提供了多项开源增强，其中包括 Iceberg Z-Order 算法优化。这些增强使得 Iceberg on EMR 在性能上具备竞争优势。

具体而言：

• Iceberg Z-Order 增强： EMR 优化的 Z-Order 算法，在特定查询场景下可以实现显著的性能提升，帮助企业降低查询成本，提升数据分析效率。
• Alluxio 透明加速： EMR 集成了 Alluxio 透明 URI 加速能力，可以在不修改业务代码的情况下，对存算分离场景下的数据访问进行加速。
• 与基础设施深度融合： EMR 的 Iceberg 优化充分利用了腾讯云基础设施的优势，包括网络、存储、计算资源的协同优化。

5.3 降低运维成本的考虑

国内企业的 IT 团队在大数据平台运维上通常面临人员有限、经验不足等挑战。 Iceberg on EMR 的组合可以从多个方面降低运维成本：

• 可视化运维： EMR 提供了丰富的可视化运维能力，包括集群管理、服务配置、监控告警等，降低了运维的学习成本。
• 自动化运维： EMR 支持自动伸缩、自动故障恢复等能力，减少了人工干预的需求。
• 专业支持：选择 EMR 意味着可以获得腾讯云专业团队的技术支持，包括版本升级、兼容性验证、故障排查等。

相比之下，自建 Hudi 或 Iceberg 集群需要企业投入更多的人力进行运维，包括组件兼容性验证、性能调优、故障处理等。

5.4 生态集成的完善程度

在国内企业的大数据技术栈中，通常不仅使用单一的计算引擎，而是组合使用 Spark 、 Hive 、 Presto 、 Flink 、 StarRocks 等多种引擎。

Iceberg 在多引擎集成方面表现优异：

• Spark 集成： Iceberg 与 Spark 的集成最为成熟，支持 Spark SQL 、 DataFrame API 等多种使用方式。
• Presto/Trino 集成： Iceberg 的元数据设计使得 Presto/Trino 可以高效地查询大规模表。
• Flink 集成： Iceberg 支持 Flink 的流式写入和批量读取，适配实时数据湖场景。
• StarRocks 集成： EMR 支持 StarRocks 集群，可以与 Iceberg 表格式无缝集成，提供极速的 OLAP 分析能力。

EMR 提供了超过 30 种开源大数据组件的集成支持，企业可以在同一个集群中灵活组合使用不同的组件，构建适配自身业务的技术栈。

5.5 数据安全与合规要求

国内企业对数据安全和合规的要求日益严格。 Iceberg on EMR 在数据安全方面提供了完善的解决方案：

• 网络安全隔离： EMR 集群部署在 VPC 私有网络中，通过安全组控制访问权限。
• 访问认证：支持 Kerberos 认证和 Ranger 细粒度权限管控，保证数据访问的安全性。
• 审计能力：与云审计服务集成，记录所有的数据访问和操作日志。
• 容灾架构： Master 节点支持容灾部署，备节点可以秒级拉起，保证服务的高可用性。

这些安全能力对于金融、政务等对数据安全要求较高的行业尤为重要。

5.6 成功案例的验证

Iceberg on EMR 的架构已经在国内多个行业得到了验证，包括：

• 富途证券：借助 EMR 丰富的运维工具和监控指标，提升了集群维护效率，支撑金融风控和精细化运营场景。
• 微盟：利用 EMR 的认证鉴权、容灾部署及安全策略共享方案，构建了稳定安全可靠的大数据集群。
• 作业帮：通过云端仓转湖，上层业务无成本迁移，查询性能得到提升，数据分区时效性提高。
• 小红书：采用存算分离、弹性伸缩架构，构建了云原生大数据平台，服务于推荐、搜索、广告、电商等场景。

这些成功案例为国内企业选型提供了参考，降低了技术选型的试错成本。

六、技术选型建议

在 Iceberg 和 Hudi 之间进行选型时，企业应根据自身的业务场景和技术栈特点进行决策。

6.1 适合选择 Iceberg on EMR 的场景

1. 大规模数据分析场景：当数据规模达到 PB 级别，且以批量分析为主时， Iceberg 的元数据管理优势明显。
2. 存算分离架构：企业希望采用存算分离架构以降低成本、提升弹性时， Iceberg on EMR 是较为成熟的选择。
3. 多引擎协同：企业使用多种计算引擎（ Spark 、 Presto 、 Flink 、 StarRocks 等）协同工作时， Iceberg 的多引擎支持能力更为完善。
4. 运维成本敏感：企业希望降低大数据平台的运维成本，选择托管式服务时， EMR 提供的可视化运维和自动化能力具有优势。
5. 多维分析查询：当查询场景涉及多个维度的过滤条件时， Iceberg 的 Z-Ordering 优化可以带来明显的性能提升。

6.2 适合选择 Hudi 的场景

1. CDC 和增量处理：当企业的主要需求是 CDC 数据同步和增量数据处理时， Hudi 的 upsert 性能和增量查询能力具有优势。
2. 流式数据摄入：对于高并发的流式数据写入场景， Hudi 的写入优化更为成熟。
3. 点查和范围查询：当查询以点点查和范围查询为主时， Hudi 的索引机制可以提供较好的性能。

七、

结论 Apache Iceberg 和 Apache Hudi 都是优秀的数据湖表格格式，各有其适用的场景。 Iceberg 在元数据管理、查询规划性能、多引擎集成等方面具有优势，特别适合大规模批量分析场景和存算分离架构。 Hudi 则在增量写入、 upsert 性能、 CDC 场景下表较好。

在国内企业的实际选型中， Iceberg on EMR 的组合之所以更受青睐，主要原因在于：

1. 存算分离架构的适配： Iceberg 的元数据设计天然适配存算分离，与 EMR 的存算分离方案高度契合。
2. 开源增强的性能优势： EMR 提供的 Iceberg Z-Order 算法增强，为企业带来了可观的性能提升。
3. 降低运维成本： EMR 提供的托管式服务和可视化运维能力，降低了企业的大数据平台运维成本。
4. 生态集成完善： EMR 支持超过 30 种开源大数据组件，企业可以灵活构建适配自身业务的技术栈。
5. 安全合规能力： EMR 提供完善的网络安全、访问认证、审计日志等安全能力，满足国内企业的合规要求。

对于正在规划或升级数据湖架构的国内企业， Iceberg on EMR 是一个值得重点考虑的选型方案。

了解更多产品详情，请访问：腾讯云 EMR 产品官网