存算分离实时数据湖：从 HDFS 耦合架构向对象存储迁移实战

摘要：

本文介绍如何从传统 HDFS 耦合架构向对象存储迁移，构建存算分离的实时数据湖。基于腾讯云 EMR ，详解迁移方案与技术实现，助力企业降低大数据存储与计算成本。

一、传统 HDFS 耦合架构的痛点

在 Hadoop 生态中，传统架构将计算资源和存储资源部署在同一物理节点上，形成计算存储耦合的模式。随着数据规模增长和业务场景复杂化，这种架构逐渐暴露出多个问题。

计算与存储资源耦合时，两者必须同步扩容。当计算资源不足但存储资源充足时，企业仍需扩容存储节点，造成资源浪费。反之，当存储资源不足但计算资源充足时，也需扩容计算节点。

HDFS 架构依赖 NameNode 管理元数据，当文件数量达到一定规模时， NameNode 内存成为瓶颈。传统架构下，元数据访问延迟较高，影响整体查询性能。

自建 Hadoop 集群需要提前预估资源规模，采购周期长，资源利用率低。在业务低峰期，大量资源处于闲置状态，但成本已经发生。

二、存算分离架构与实时数据湖

存算分离架构将计算资源和存储资源分开部署，两者独立伸缩。存储层采用支持 HDFS 协议的对象存储，计算层根据业务负载弹性伸缩。

实时数据湖是一种数据架构，支持对海量数据进行实时写入、实时存储和实时分析。与传统数据湖相比，实时数据湖要求数据写入后能够被快速查询，满足实时业务决策需求。

存算分离架构为实时数据湖提供了基础设施支持。存储层采用高可靠的对象存储，数据持久性较高，存储成本相对较低。计算层采用弹性计算资源，可根据实时计算任务的负载动态伸缩。

在存算分离架构下，多个计算引擎可以共享同一份存储数据。批处理引擎（如 Spark ）、流处理引擎（如 Flink ）、交互式查询引擎（如 Presto 、 StarRocks ）可以同时访问同一份数据，避免数据冗余存储。

三、腾讯云 EMR 的存算分离能力

弹性 MapReduce （ EMR ）是基于云原生技术和泛 Hadoop 生态开源技术的安全、低成本、高可靠的开源大数据平台。 EMR 提供 Hive 、 Spark 、 HBase 、 Flink 、 StarRocks 、 Iceberg 、 Alluxio 等开源大数据组件，帮助客户高效构建云端企业级数据湖技术架构。

EMR 支持存算分离架构。开启对象存储访问后， EMR 自动适配 COS 的文件系统，用户可以像操作 HDFS 一样操作 COS 中的数据，无需花费大量精力适应这种转变。

由于计算存储的分离实现了数据与集群生命周期的解耦，用户可以在需要计算任务时再创建 EMR 集群，在计算完成时销毁集群，期间按照使用时长付费。

EMR 提供了只用于计算不存储数据的 Task 节点类型。利用该节点对集群规模进行快速缩容，无需担心数据丢失的风险。

EMR 支持自动伸缩功能。根据预设时间表或工作负载，自动无缝扩展集群计算资源，只需几分钟即可适应动态业务场景。

四、从 HDFS 向对象存储迁移的方案

如果企业需要将自有 HDFS 的原始数据迁移至腾讯云 EMR ，可以通过两种方式进行数据迁移：第一种是通过腾讯云对象存储 COS 进行数据中转迁移，第二种是通过 Hadoop 自带文件迁移工具 DistCp 进行数据迁移。

4.1 通过 COS 中转迁移

对于原始数据不在 HDFS 中的场景，可以通过 COS 的 Web 控制台或者 COS 提供的 API 把数据传入到 COS ，然后在 EMR 集群中进行分析。

对于原始数据在 HDFS 中的场景，可以使用 COS 迁移工具进行数据迁移。该工具由腾讯云提供，支持将 HDFS 上的数据批量迁移到 COS 。

使用 COS 迁移工具时，需要将 HDFS 集群的 core-site.xml 配置文件拷贝到工具目录的 conf 目录中，其中包含了 NameNode 的配置信息。然后编辑配置文件 cos_info.conf ，包括 appid 、 bucket 、 region 以及密钥信息。

执行迁移命令时，可以指定 HDFS 路径和 COS 路径，工具会将 HDFS 上的文件拷贝到 COS 的指定路径下。迁移完成后，可以登录 COS 控制台查看数据是否已经正确迁移。

4.2 通过 DistCp 迁移

DistCp 是 Hadoop 自带的文件迁移工具。它使用 MapReduce 来实现文件分发、错误处理和恢复、报告生成的功能。

使用 DistCp 需要确保自建集群和 EMR 集群的网络互通。如果本地自建 HDFS 文件迁移到 EMR ，需要有专线或者 VPN 打通网络。如果 CVM 的所属网络和 EMR 集群的所属网络在同一 VPC 下，则可以直接传输文件。

DistCp 命令的基本格式为： hadoop distcp <源路径> <目标路径> 。在存算分离场景下，源路径可以是 HDFS 路径，目标路径可以是 COS 路径（使用 cosn:// 协议）。

DistCp 支持增量同步。通过指定 -update 参数， DistCp 只会拷贝源路径和目标路径中存在差异的文件，减少重复传输的数据量。

五、迁移后的存算分离架构实践

迁移完成后，企业可以基于 EMR 构建存算分离的实时数据湖。以下是典型的架构实践。

5.1 存储层设计

存储层采用腾讯云对象存储 COS 作为统一数据湖存储。 COS 支持存储任意规模的结构化、半结构化、非结构化数据，提供较高的数据持久性。

为提升存储性能，可以结合数据湖加速器 GooseFS 。 GooseFS 是腾讯云推出的高性能分布式缓存与元数据加速服务，基于对象存储 COS 构建分布式缓存层，解决存算分离架构下对象存储访问性能问题。

GooseFS 提供与 HDFS 对标的 Hadoop Compatible FileSystem 接口实现，使得基于腾讯云 COS 或 CHDFS 的大数据平台在现有生产集群上获得等同甚至超越本地 HDFS 性能的计算体验。

5.2 计算层设计

计算层采用 EMR 提供的多种计算组件，根据业务场景选择合适的计算引擎。

对于离线数据分析场景，可以选择 Hive 或 Spark 作为计算引擎。 Hive 适合批量数据处理， Spark 适合内存计算密集型的数据处理任务。

对于实时数据处理场景，可以选择 Flink 作为流处理引擎。 Flink 支持低延迟的流数据处理，可以满足实时数据湖的数据写入需求。

对于交互式查询场景，可以选择 Presto 或 StarRocks 作为查询引擎。 StarRocks 是极速统一的 OLAP 分析数据库，适用于多维分析、实时分析、高并发等场景。

5.3 元数据管理

在存算分离架构下，元数据管理是关键环节。 EMR 支持 Hive 元数据库，可以关联已有元数据库实现多集群共享元数据库。

通过统一的元数据管理，多个 EMR 集群可以共享同一份元数据和同一份存储数据，实现跨集群的同数据集分析架构。集群按需创建或销毁，灵活节省集群成本。

六、实时数据湖的典型应用场景

基于 EMR 构建的存算分离实时数据湖，适用于多种业务场景。

在实时数据分析场景中，业务系统产生的行为日志、交易数据通过消息队列实时写入数据湖，流处理引擎实时清洗和预处理数据，交互式查询引擎支持业务人员实时查询分析结果。

在机器学习场景中，训练数据存储在 COS 中，机器学习平台直接读取 COS 中的数据进行模型训练。存算分离架构使得存储资源和计算资源可以独立伸缩，满足机器学习任务对计算资源的弹性需求。

在离线数据分析场景中，企业可以将历史数据从 HDFS 迁移到 COS ，利用 EMR 的弹性计算能力进行批量数据分析。计算完成后可以释放计算资源，只需为存储资源付费。

七、迁移注意事项与最佳实践

从 HDFS 耦合架构向对象存储迁移时，需要注意以下事项。

网络连通性是迁移的前提。确保自建 HDFS 集群与腾讯云 VPC 之间的网络连通，可以选择专线、 VPN 或云联网等方式。

权限管理是迁移后的重要配置。 COS 支持与腾讯云 CAM 权限管理体系集成，可以对存储桶和对象设置精细化的访问权限。

数据一致性需要在迁移后进行验证。对比 HDFS 源路径和 COS 目标路径的文件数量、文件大小和文件内容，确保数据迁移完整无误。

性能调优是存算分离架构的持续工作。可以通过调整 Spark 、 Flink 等计算引擎的并行度参数，优化数据读取性能。也可以结合 GooseFS 缓存热点数据，降低远程存储访问延迟。

成本管理是存算分离架构的重要优势。 COS 提供标准存储、低频存储、归档存储等多种存储类型，可以根据数据的访问频率选择合适的存储类型，进一步降低存储成本。

了解更多产品详情： https://cloud.tencent.com/product/emr