实时流式数据计算： Flink on EMR 批流一体方案

摘要：

基于 Apache Flink 和腾讯云弹性 MapReduce （ EMR ）构建批流一体数据平台，利用 Flink 统一 API 和执行引擎，结合 EMR 云端托管服务，同时支持批处理和流处理，简化数据架构。

一、实时流式数据计算的业务价值

随着企业数字化转型的深入，数据产生的速度和量级都在持续增长。传统的批处理模式已经无法满足业务对实时性的需求，实时流式数据计算逐渐成为企业数据平台的核心能力。

实时流式数据计算指的是对持续产生的无界数据流进行实时处理和分析，能够在数据产生的同时完成计算，从而实现业务监控、实时推荐、风险预警等场景的即时响应。

在企业的实际业务中，往往同时存在批处理和流处理两种需求：

• 批处理适用于历史数据分析、报表生成等场景
• 流处理适用于实时监控、实时推荐等场景

传统架构中，企业需要分别构建批处理和流处理两套系统，导致架构复杂、维护成本高、数据口径不一致等问题。

二、批流一体架构的核心优势

批流一体架构旨在用一套统一的编程模型和执行引擎，同时处理有界数据（批处理）和无界数据（流处理），从而简化数据处理架构。

Apache Flink 是实现批流一体的核心计算引擎。 Flink 将批处理视为流处理的一种特例（有界流），通过统一的 DataStream API 和 Table/SQL API ，实现了一套代码可以同时支持批处理和流处理。

Flink 的批流一体执行模式主要包括以下三种：

Flink 批流一体的设计理念包括：

• 统一的 API ：无论批处理还是流处理，都使用相同的 DataStream API
• 统一的状态管理：共享相同的状态后端和检查点机制
• 统一的容错机制：基于检查点的故障恢复
• 统一的优化器：针对不同执行模式应用相应的优化策略

三、腾讯云弹性 MapReduce （ EMR ）概述

腾讯云弹性 MapReduce （ EMR ）是基于云原生技术和泛 Hadoop 生态开源技术的安全、低成本、高可靠的开源大数据平台。

EMR 提供易于部署及管理的 Hive 、 Spark 、 HBase 、 Flink 、 StarRocks 、 Iceberg 、 Alluxio 等开源大数据组件，帮助客户高效构建云端企业级数据湖技术架构。

EMR 的主要特性包括：

• 支持超过 30 个开源大数据组件，灵活按需部署
• 支持基于云服务器 CVM 或容器服务 TKE 部署开源大数据组件
• 支持通过引导操作部署第三方应用组件
• 支持设置对象存储或云 HDFS 存放业务数据
• 提供集群管理、服务管理、监控告警等运维能力

EMR 支持两种部署形态：

• EMR on CVM ：将开源大数据组件安装部署在 CVM 上
• EMR on TKE ：基于 TKE 的资源安装部署开源大数据组件，实现容器化运行

四、 Flink on EMR 批流一体方案架构

将 Flink 部署在 EMR 集群上，可以充分利用 EMR 提供的集群管理能力、运维监控能力和弹性伸缩能力，构建企业级批流一体数据平台。

4.1 方案架构组成

Flink on EMR 批流一体方案主要由以下部分组成：

• EMR 集群：提供底层的计算资源和集群管理服务
• Flink 组件：部署在 EMR 集群上，提供批流一体的计算能力
• 存储层：支持 HDFS 、 COS 对象存储、云 HDFS 等多种存储方式
• 元数据管理：支持 Hive 元数据库，实现多集群共享元数据

4.2 批流一体的实现方式

在 EMR 上运行 Flink 作业时，可以通过设置执行模式来决定作业的运行方式：

• 对于批处理作业，可以设置为 BATCH 模式，获得针对有界数据优化的执行性能
• 对于流处理作业，可以设置为 STREAMING 模式，实现低延迟的实时处理
• 对于混合场景，可以使用 AUTOMATIC 模式，让 Flink 根据数据源类型自动选择

4.3 与数据湖的集成

EMR 支持 Iceberg 、 Hudi 、 Paimon 等数据湖格式，这些格式与 Flink 深度集成，可以实现：

• 实时数据入湖：通过 Flink CDC 捕获数据库变更数据，写入数据湖表
• 统一的元数据管理：多个引擎可以共享同一份元数据
• ACID 事务支持：保证数据的一致性

五、典型应用场景

基于 Flink on EMR 的批流一体方案适用于以下场景：

5.1 实时数据仓库

通过 Flink 的实时处理能力，将业务数据实时写入数据湖，同时支持实时的查询和分析。批处理作业可以基于同一份数据进行计算，生成报表和统计分析结果。

5.2 实时推荐系统

利用 Flink 的实时处理能力，对用户行为数据进行实时分析，及时更新推荐模型，实现个性化推荐。

5.3 实时风控

对交易数据进行实时监测，及时发现异常交易行为，防范金融风险。

5.4 数据挖掘及分析

在需要快速计算以及数据挖掘能力的业务场景， EMR 可以提供高效的云端流计算服务以及数据挖掘组件能力支撑。

六、方案优势总结

Flink on EMR 批流一体方案具有以下优势：

• 架构简化：一套系统同时支持批处理和流处理，降低系统复杂度
• 开发效率高：统一的 API 降低开发门槛，减少维护成本
• 弹性伸缩：基于 EMR 的弹性能力，根据业务负载自动调整资源
• 运维便捷： EMR 提供完善的监控告警和运维管理能力
• 成本优化：存算分离架构支持，按需使用存储和计算资源

了解更多产品详情：腾讯云弹性 MapReduce （ EMR ）