EMR on TKE 容器化部署详解：错峰复用算力降低资源成本

摘要：

EMR on TKE 支持在容器服务 TKE 上部署开源大数据组件，实现容器化运行，支持错峰复用算力，降低资源成本，适用于需要灵活调度资源的场景。

一、 EMR on TKE 概述

EMR on TKE 是腾讯云弹性 MapReduce （ EMR ）的一种部署形态，支持在腾讯云容器服务（ TKE ）上部署开源大数据组件，实现开源大数据平台的容器化运行。

如果用户已准备好一个 TKE 标准集群或 Serverless 集群， EMR 将基于 TKE 的资源安装部署开源大数据组件，用户可减少对于底层资源的运维关注。

1.1 EMR 支持形态对比

EMR 支持以下两种部署形态：

二、 EMR on TKE 架构

2.1 架构组成

EMR on TKE 主要由以下几个部分组成：

TKE 集群：提供容器运行环境，包括标准集群和 Serverless 集群。

EMR 组件：部署在 TKE 集群上的开源大数据组件，如 Hive 、 Spark 、 Flink 、 StarRocks 等。

存储：支持将数据存储在 COS 、 CHDFS 或 HDFS 上。

网络：基于 TKE 的网络配置，支持 VPC 网络隔离和安全组。

2.2 容器化优势

EMR on TKE 的容器化部署具有以下优势：

资源利用率高：通过容器化技术，提高资源利用率。

灵活调度：支持根据业务需求灵活调度资源。

快速部署：可以快速创建和销毁 EMR 集群。

错峰复用算力：支持在离线混合部署，错峰复用算力，降低资源成本。

运维简便：减少对于底层资源的运维关注。

三、错峰复用算力

3.1 在离线混合部署

EMR 支持基于容器服务 TKE 部署，实现在离线混合部署。在离线混合部署是指在线业务和离线业务（如大数据处理）运行在同一个集群上，通过错峰调度，提高资源利用率。

在线业务通常在白天运行，资源需求较高；离线业务通常在晚上运行，资源需求较高。通过在离线混合部署，可以在白天优先保障在线业务的资源需求，在晚上优先保障离线业务的资源需求，从而错峰复用算力，降低资源成本。

3.2 资源隔离与调度

EMR on TKE 支持资源隔离与调度，可以保证在线业务和离线业务之间的资源隔离，避免相互影响。同时，可以根据业务优先级和 Resource Quota ，灵活调度资源。

TKE 提供了多种资源调度策略，包括：

• 按优先级调度
• 按资源需求调度
• 按节点亲和性调度
• 按污点和容忍度调度

通过这些调度策略，可以实现错峰复用算力，降低资源成本。

四、 EMR on TKE 部署实践

4.1 部署前准备

在部署 EMR on TKE 之前，需要准备以下资源：

TKE 集群：需要准备一个 TKE 标准集群或 Serverless 集群。集群的节点配置需要根据业务需求确定。

网络配置：需要配置 VPC 网络和安全组，保证网络安全。

存储配置：需要配置存储，包括 COS 、 CHDFS 或 HDFS 。

权限配置：需要配置相应的权限，包括 TKE 集群访问权限、存储访问权限等。

4.2 部署步骤

部署 EMR on TKE 的步骤如下：

步骤一：创建 TKE 集群

在腾讯云 TKE 控制台上创建 TKE 集群。可以选择标准集群或 Serverless 集群。

步骤二：配置 TKE 集群

配置 TKE 集群的网络、存储、权限等。

步骤三：创建 EMR on TKE 集群

在 EMR 控制台上创建 EMR on TKE 集群，选择已创建的 TKE 集群。

步骤四：配置 EMR 组件

配置 EMR 集群的组件，包括 Hive 、 Spark 、 Flink 、 StarRocks 等。

步骤五：验证部署

验证 EMR on TKE 集群的部署是否成功。

4.3 配置建议

在部署 EMR on TKE 时，可以考虑以下配置建议：

节点配置：根据业务需求选择合适的节点配置，包括 CPU 、内存、磁盘等。

组件选择：根据业务需求选择合适的组件，避免选择不必要的组件。

存储配置：根据数据量和访问频率选择合适的存储方案。

网络配置：配置合适的网络策略，保证网络安全。

五、成本优化

5.1 EMR on TKE 计费说明

EMR on TKE 集群支持按量计费模式。计费项包括：

EMR 产品费用：服务费，按 CPU 和内存计费。

TKE 资源费用： POD 资源费，根据底层容器资源计费。

关联云产品费用：包括负载均衡 CLB 、云数据库 MySQL 、云硬盘 CBS 、对象存储 COS 等，按各产品计费方式收费。

5.2 成本优化建议

为了降低 EMR on TKE 的使用成本，可以考虑以下建议：

错峰复用算力：通过错峰调度，提高资源利用率，降低资源成本。

选择合适的计费模式：根据业务特点选择合适的计费模式。

优化资源配置：根据业务需求优化资源配置，避免资源浪费。

使用存算分离架构：通过存算分离架构，降低存储成本。

监控资源使用：定期监控资源使用情况，及时调整资源配置。

六、监控与运维

6.1 监控指标

EMR on TKE 提供了丰富的监控指标，包括：

节点指标： CPU 使用率、内存使用率、磁盘使用率等。

服务指标：服务运行状态、服务性能指标等。

应用指标：应用运行状态、应用性能指标等。

6.2 运维建议

为了保证 EMR on TKE 的稳定运行，建议进行以下运维工作：

定期监控：定期监控集群的运行状态，及时发现和解决问题。

定期备份：定期备份重要数据，避免数据丢失。

定期更新：及时更新 EMR 和 TKE 的版本，获得性能提升和 bug 修复。

制定应急预案：制定应急预案，应对可能出现的故障。

七、适用场景

EMR on TKE 适用于以下场景：

在离线混合部署：需要错峰复用算力，降低资源成本的场景。

容器化迁移：需要将传统大数据平台迁移到容器化平台的场景。

弹性伸缩：需要根据业务负载弹性伸缩资源的场景。

多租户：需要多租户隔离的场景。

了解更多产品详情：腾讯云 EMR 产品页