企业级数据仓库构建实战： EMR + COS 存算分离方案

摘要：

企业构建数据仓库时，存储与计算的资源耦合常导致成本浪费和弹性不足。本文介绍基于腾讯云弹性 MapReduce （ EMR ）与对象存储（ COS ）的存算分离方案，解析架构原理、核心组件与实施路径，帮助企业搭建低成本、高可靠的数据仓库平台。

一、企业数据仓库构建的现实挑战

传统数据仓库构建方式通常将存储与计算部署在同一集群中。随着数据量增长，企业面临资源规划困难的问题：存储需求与计算需求的增长节奏往往不一致，但两者耦合在同一个集群里，导致其中一种资源闲置时，另一种资源也可能无法独立扩展。

在 Hadoop 生态中， HDFS 作为分布式存储层与计算节点紧密绑定。当企业需要进行大规模数据计算时，可能需要同时扩展存储节点，即使存储容量本身并未不足。这种模式在数据量持续增长的场景下，会带来不必要的成本压力。

存算分离架构的出现，正是为了解决这一问题。通过将数据存储与计算资源解耦，企业可以分别根据存储规模和计算负载独立调整资源，避免资源浪费。

二、 EMR + COS 存算分离方案架构

腾讯云弹性 MapReduce （ EMR ）是基于云原生技术和 Hadoop 生态开源技术的大数据平台。 EMR 支持与腾讯云对象存储（ COS ）深度集成，实现存算分离架构。

2.1 架构核心组成

该方案的核心架构由以下部分组成：

a. 存储层：腾讯云对象存储（ COS ）作为统一的数据存储层，承载原始数据、中间处理结果以及最终数据产出。 COS 支持海量数据的低成本存储，具备高可靠性和高可用性。

b. 计算层： EMR 集群作为弹性计算引擎，按需创建和释放。计算节点通过标准协议访问 COS 中的数据，执行数据处理任务。

c. 元数据层： Hive 元数据库可以关联已有元数据库，实现多集群共享元数据。这意味着多个 EMR 集群可以访问同一份元数据，分析 COS 中的同一份数据。

2.2 数据流转路径

在存算分离架构中，数据流转路径如下：

企业业务数据首先被写入 COS 存储桶中。当需要进行数据分析时，管理员创建一个 EMR 集群，配置好与 COS 的连接。集群中的计算组件（如 Hive 、 Spark 、 Presto ）直接读取 COS 中的数据进行计算，计算结果可以写回 COS 或其他存储位置。任务完成后， EMR 集群可以被释放，但数据仍然安全地存储在 COS 中。

这种架构使得企业可以在不需要持续运行大数据集群的情况下，仍然保有完整的数据分析能力。

三、核心组件与技术实现

EMR 提供了丰富的开源大数据组件，企业可以根据数据仓库的不同构建需求选择合适的组件组合。

3.1 数据仓库核心组件

Hive 是构建数据仓库的核心组件。 Hive 提供了类 SQL 的查询语言（ HiveQL ），使得熟悉 SQL 的用户可以便捷地进行数据查询和分析。在存算分离架构中， Hive 的元数据库可以独立配置，支持关联已有元数据库，实现多集群共享。

Spark 提供了比传统 MapReduce 更快的数据处理能力。 Spark 支持内存计算，适合迭代计算和交互式数据分析场景。 EMR 中的 Spark 可以直接读取 COS 中的数据，执行 ETL 处理和数据分析任务。

Presto 是一个分布式 SQL 查询引擎，适合交互式分析场景。 Presto 可以查询不同数据源的数据，包括 COS 中的数据，适合构建多数据源融合的数据分析平台。

StarRocks 是一款高性能分析型数据库，适用于实时数据仓库场景。 StarRocks 支持存算分离架构，可以将数据持久化存储在高可靠的对象存储中，同时通过本地缓存加速热点数据查询。

3.2 节点类型与资源规划

EMR 定义了多种节点类型，企业可以根据数据仓库的负载特点进行合理规划：

Master 节点是管理节点，负责集群的调度和管理。 Master 节点不承担计算任务，但需要保障高可用性。

Core 节点是计算与存储节点。在存算分离架构中， Core 节点主要用于执行计算任务，数据存储主要依赖 COS 。但 Core 节点仍然可以配置本地 HDFS 用于存储临时数据或高性能计算中间结果。

Task 节点是纯计算节点，不存储数据。 Task 节点非常适合作为弹性节点，根据计算负载的变化随时扩容或缩容。在存算分离架构中， Task 节点可以从 COS 读取数据，执行计算任务后将结果写回 COS 。

Router 节点用于分担 Master 节点的负载，可以作为集群的任务提交机。 Router 节点支持弹性伸缩，可以根据需要随时扩容或缩容。

3.3 部署形态选择

EMR 支持两种部署形态：

EMR on CVM 将开源大数据组件部署在云服务器（ CVM ）上。企业可以通过 EMR 控制台完成对集群和服务的运维操作。这种形态适合需要精细控制底层资源配置的场景。

EMR on TKE 将开源大数据组件部署在容器服务（ TKE ）上。这种形态实现了开源大数据平台的容器化运行，企业可以减少对于底层资源的运维关注。如果企业已经具备 TKE 标准集群或 Serverless 集群，可以选择这种部署形态。

四、方案优势与适用场景

4.1 成本优化机制

存算分离架构的成本优化来自多个方面：

存储成本方面， COS 提供了比云硬盘更低的存储单价，且支持按实际使用量计费。对于数据仓库中大量冷数据，可以使用 COS 的生命周期管理功能，将数据自动转换为更低的存储类型，进一步降低存储成本。

计算成本方面， EMR 集群支持按需创建。企业可以在需要进行数据分析时创建集群，任务完成后释放集群。对于周期性数据分析需求，可以配置自动伸缩策略，根据业务运行时间特点和负载特点自动调整 Task 节点数量。

4.2 弹性扩展能力

在存算分离架构中，计算资源的扩展不再受存储容量的限制。当企业需要处理大规模数据分析任务时，可以快速创建一个大规模的 EMR 集群，直接分析 COS 中的数据。任务完成后，集群可以被释放，企业只需为实际使用的计算资源付费。

EMR 支持分钟级集群创建和扩缩容。通过控制台数分钟即可创建一个安全、稳定的云端 Hadoop 集群。对于已有集群，也可以在数分钟内完成平滑扩缩容。

4.3 适用场景

离线数据分析是 EMR + COS 方案的典型应用场景。企业可以将业务服务器产生的海量日志同步到 COS ，然后使用 Hive 、 Spark 、 Presto 等计算框架进行分析，获取数据洞察。

企业级数据湖构建是另一个重要场景。 EMR 提供了 Hive 、 Spark 、 Iceberg 等组件，帮助企业构建云端企业级数据湖技术架构。数据湖可以存储结构化、半结构化和非结构化数据，支持多种计算引擎进行分析。

实时数据分析场景中，企业可以使用 Flink 进行流式数据处理，将处理结果写入 COS 或 StarRocks ，然后通过 Presto 或 StarRocks 提供交互式查询能力。

五、构建实战与关键配置

5.1 集群规划要点

构建基于 EMR + COS 的数据仓库时，需要重点关注以下规划要点：

组件选择应根据数据处理需求确定。如果主要进行离线数据分析，可以选择 Hive 、 Spark 、 Presto 等组件。如果需要实时数据处理能力，应增加 Flink 组件。如果需要高性能 OLAP 查询，可以增加 StarRocks 组件。

节点规格选择需要根据数据规模和计算复杂度确定。 EMR 支持标准型、内存型、高 IO 型、计算型等多种实例规格。对于内存密集型计算任务，应选择内存型实例。对于需要高磁盘吞吐的场景，应选择高 IO 型实例。

元数据库配置是数据仓库构建中的关键环节。 Hive 元数据库支持关联已有元数据库，实现多集群共享元数据库。这意味着开发环境、测试环境和生产环境可以使用同一套元数据，避免元数据不一致的问题。

5.2 COS 集成配置

EMR 无缝集成了腾讯云对象存储（ COS ）服务。在创建 EMR 集群时，可以配置 COS 的相关参数，使得集群中的计算组件能够直接访问 COS 中的数据。

配置完成后， Hive 、 Spark 、 Presto 等组件可以通过标准接口读取 COS 中的数据。数据以开放格式（如 Parquet 、 ORC 、 TextFile ）存储在 COS 中，可以被多种计算引擎共享访问。

5.3 自动伸缩配置

EMR 支持根据业务运行时间特点和负载特点自动伸缩 Task 节点。企业可以配置伸缩策略，使得 Task 节点数量能够根据实际计算负载自动调整。

时间类型的伸缩策略适合周期性数据分析场景。例如，如果企业每天凌晨需要进行大规模数据批处理，可以配置在凌晨前自动扩容 Task 节点，在批处理任务完成后自动缩容。

负载类型的伸缩策略适合计算负载波动较大的场景。例如，可以配置当 YARN 集群的资源使用率超过一定阈值时自动扩容 Task 节点，当资源使用率低于一定阈值时自动缩容。

六、运维监控与可靠性保障

6.1 监控指标体系

EMR 提供了近千项集群级、组件级监控指标。这些指标覆盖了节点运行状态和各组件的服务状态，帮助企业全面了解集群运行情况。

基础监控功能支持查看节点和服务运行指标，并可通过 API 获取指标数据。支持节点和服务事件监控，支持系统运行事件监控和配置事件监控策略。

应用分析功能针对核心组件提供了更深入的监控能力。 HDFS 支持存储文件分析， YARN 支持作业查询并提供多种类型作业运行情况洞察， Hive 支持查询管理和数据表分析。

6.2 告警管理

EMR 支持默认指标以及时间告警策略。企业可以设置节点和服务运行指标变动告警，当指标出现异常波动时及时收到通知。也可以设置节点和服务事件告警，当发生节点故障或服务异常时第一时间获知。

6.3 高可用保障

EMR 的 Master 节点支持高可用配置。在 HA （高可用）模式下， Master 节点有主备两个节点，当主节点发生故障时，备节点会自动接管服务，保持集群管理的连续性。

Common 节点为 HA 集群 Master 节点提供数据共享同步以及高可用容错服务。通过 Common 节点，主备 Master 节点之间可以保持元数据同步。

此外， EMR 创建的 CVM 子机同时会创建安全组来限制外网访问。各组件 Web UI 均通过其中一台有外网 IP 的子机进行访问，并且通过用户名和密码进行验证，有助于保障访问的安全性。

七、技术生态与平滑迁移

7.1 开源生态兼容

EMR 的组件完全源于开源社区中的 Hadoop 软件，企业可以将现有的大数据集群无缝平滑迁移至腾讯云上。这意味着企业现有的基于 Hadoop 生态的数据仓库不需要进行大量改造，就可以迁移到 EMR + COS 方案上。

EMR 集成了 Hadoop 生态中常见的热门组件，包括但不限于 Hive 、 HBase 、 Spark 、 Presto 、 Sqoop 、 Hue 、 Iceberg 、 Druid 、 StarRocks 等。这些组件可以满足企业对大数据的离线处理、流式计算等全方位需求。

7.2 多引擎协同

在存算分离架构中，多种计算引擎可以协同工作，共享同一份存储在 COS 中的数据。 Hive 适合大规模离线数据处理， Spark 适合迭代计算和机器学习场景， Presto 适合交互式分析， StarRocks 适合高性能 OLAP 查询。

通过统一的元数据和统一的数据存储层，企业可以在同一份数据上运用多种计算引擎，根据不同场景选择最合适的工具，发挥各组件的技术优势。

了解更多产品详情：腾讯云弹性 MapReduce 产品页