存算分离架构深度解析： EMR + COS 如何显著降低存储成本

摘要：

存算分离架构将计算与存储资源解耦， EMR 支持对接腾讯云 COS 对象存储，用户可按需选择存储方案，降低存储和计算成本，帮助企业在数据增长的同时控制成本支出。

一、存算分离架构概述

传统的大数据架构通常采用计算与存储耦合的部署方式，计算资源和存储资源绑定在一起，这种架构在某些场景下会导致资源利用率不高。存算分离架构则是将计算资源和存储资源分开部署、独立扩展，这种架构可以带来多方面的优势。

腾讯云弹性 MapReduce （ EMR ）支持存算分离架构，计算资源和存储资源分开购买，且可根据访问频率选择不同存储方案，降低存储和计算成本。 EMR 支持温冷数据的对象存储 COS/CHDFS 存储，成本可以有效降低。

1.1 传统架构与存算分离架构对比

二、 EMR 存算分离架构原理

2.1 架构组成

EMR 存算分离架构主要由以下几个部分组成：

计算层：由 EMR 集群的计算节点（ Master 、 Core 、 Task 、 Router ）组成，负责执行数据处理任务。计算层可以基于 CVM 或 TKE 部署。

存储层：由腾讯云对象存储（ COS ）或云 HDFS （ CHDFS ）组成，负责存储数据。存储层与计算层分离，可以独立扩展。

网络连接：计算层与存储层之间通过腾讯云内网连接，保证数据传输的性能。

2.2 数据分层存储

EMR 存算分离架构支持根据数据的访问频率选择不同的存储方案：

热数据：访问频率较高的数据，可以存储在高性能存储介质上，如本地盘或云硬盘。

温数据：访问频率适中的数据，可以存储在 COS 的标准存储上。

冷数据：访问频率较低的数据，可以存储在 COS 的低频存储或归档存储上。

通过数据分层存储，企业可以根据业务需求选择合适的存储方案，降低存储成本。

三、 COS 对象存储对接

3.1 COS 概述

腾讯云对象存储（ Cloud Object Storage ， COS ）是腾讯云提供的分布式存储服务，具有高可靠、低成本、安全合规等特点。 COS 支持多种存储类型，包括标准存储、低频存储、归档存储等，满足不同场景的存储需求。

3.2 EMR 对接 COS

EMR 支持将原生数据存储在 COS 上，用户可以在创建集群时选择将数据存储在 COS 上。 EMR 对接 COS 的方式如下：

配置存储路径：在创建 EMR 集群时，可以配置 HDFS 的路径映射到 COS 的路径，这样 HDFS 的数据可以存储在 COS 上。

访问 COS 数据： EMR 中的组件（如 Hive 、 Spark 、 Flink 等）可以通过 COS 的 API 或 HDFS 兼容接口访问 COS 上的数据。

数据迁移： EMR 提供数据迁移工具，支持将 HDFS 上的数据迁移到 COS 上。

3.3 COS 存储类型选择

COS 提供多种存储类型，用户可以根据数据的访问频率选择合适的存储类型：

标准存储：适用于频繁访问的数据，提供低延迟、高吞吐的数据访问能力。

低频存储：适用于访问频率较低的数据，存储成本较低，但数据访问会产生费用。

归档存储：适用于长期归档的数据，存储成本较低，但数据访问前需要先恢复。

通过选择合适的存储类型，企业可以降低存储成本。

四、成本降低分析

4.1 存储成本降低

EMR 支持温冷数据的对象存储 COS/CHDFS 存储，成本可以有效降低。这主要体现在以下几个方面：

存储单价较低： COS 的存储单价低于云硬盘的存储单价，使用 COS 存储数据可以降低存储成本。

按需付费： COS 支持按需付费，用户只需为实际使用的存储容量付费，不需要预先购买存储资源。

数据分层：通过数据分层存储，将温冷数据存储在成本较低的存储介质上，进一步降低存储成本。

4.2 计算成本降低

存算分离架构不仅可以降低存储成本，还可以降低计算成本：

独立扩展：计算资源和存储资源可以独立扩展，用户可以根据实际需求分别调整计算和存储的容量，避免资源浪费。

弹性伸缩： EMR 支持根据业务特点自动伸缩 Task 节点，减少资源闲置成本。

多集群共享存储：结合统一 Hive 元数据库以及统一对象存储，实现跨集群的同数据集分析架构，集群按需创建或销毁，灵活节省集群成本。

五、存算分离架构实践

5.1 适用场景

存算分离架构适用于以下场景：

数据量较大：当数据量较大时，使用 COS 存储可以降低存储成本。

计算与存储需求不匹配：当计算和存储的需求不匹配时，存算分离架构可以分别调整计算和存储的容量。

数据访问频率差异大：当不同数据的访问频率差异较大时，可以通过数据分层存储降低存储成本。

多集群共享数据：当需要多个集群共享同一份数据时，存算分离架构可以将数据集中存储在 COS 上，多个集群可以同时访问。

5.2 部署建议

在部署 EMR 存算分离架构时，可以考虑以下建议：

选择合适的存储类型：根据数据的访问频率选择合适的 COS 存储类型。

配置数据生命周期管理：配置数据的生命周期管理策略，自动将数据从高频存储转移到低频存储或归档存储。

优化计算资源：根据业务特点配置自动伸缩策略，优化计算资源的使用。

监控存储成本：定期监控存储成本，及时调整存储方案。

六、成功案例

6.1 小红书

小红书是年轻人的生活方式平台，基于 EMR 存算分离、弹性伸缩等能力构建的云原生大数据平台，服务于推荐、搜索、广告、电商等众多业务场景，在满足业务及数据快速增长的同时，显著降低了资源成本。

6.2 作业帮

作业帮致力于用科技手段助力教育普惠，提供学习、教育解决方案，智能硬件产品等。基于腾讯云 EMR 进行"云端仓转湖"，实现了上层业务无成本迁移，查询性能提升，数据分区时效性提高等效果。

七、技术优势

EMR 存算分离架构具有以下技术优势：

原生支持： EMR 原生支持 COS 和 CHDFS 存储，用户可以在创建集群时选择存储方案。

性能优化： EMR 基于开源组件进行了优化，提供了 Alluxio 透明加速等性能增强功能，可以提升数据访问性能。

灵活部署： EMR 支持基于 CVM 和 TKE 两种部署方式，用户可以根据业务需求选择合适的部署方式。

完善生态： EMR 与腾讯云的其他产品（如云监控、云审计、数据开发平台等）便捷搭配使用，快速构建云上企业智能生态。

了解更多产品详情：腾讯云 EMR 产品页