腾讯云Oceanus流式湖仓与弹性降本方案：实时计算架构优化与成本管控

数据来源： 2024腾讯全球数字生态大会（主讲人：李哲）

1. 传统架构与实时化转型的冲突

随着数字化进程加速，电商、金融及工业领域对实时报表、实时推荐及设备预测性维护的需求日益迫切。然而，当前企业在数据处理层面面临以下核心瓶颈：

• 架构冗余与孤岛： 传统Lambda架构存在灵活性低、成本高的问题，导致数据孤岛现象严重，数据存储与计算逻辑需重复开发。
• 批处理时效滞后： 传统批处理方式时效性差，难以满足现代业务对实时洞察的需求。
• 资源与运维压力：
  • 资源管理困难： 用户需耗费大量时间进行作业调优，且弹性作业配置不当易导致资源浪费。
  • 运维复杂度高： 平台运维涉及资源监控、作业告警、日志探索等繁琐工作，依赖专业技术人员。
  • 弹性扩展受限： 难以根据业务负载进行弹性伸缩，无法支撑业务的快速增长。

2. 构建Streaming Iceberg流式湖仓架构

针对行业痛点，腾讯云流计算Oceanus提供了基于Apache Flink构建的企业级实时大数据分析平台，并推出自研Streaming Iceberg流式湖仓解决方案。

• 核心技术组件： Streaming Iceberg基于LSM Tree存储引擎管理文件，支持高效的主键更新及单行数据的部分列更新，可高效实现实时表打宽。
• CDC优化能力： 实现了效率更高的At-least-once数据同步模式，结合目标端upsert能力保证端到端一致性。支持从OceanBase、PostgreSQL、MySQL、Oracle等主流数据库实时同步。
• 统一存储架构： 打破传统Lambda架构壁垒，避免数据重复存储。流式湖仓的每一层均可直接通过Doris进行OLAP分析，或通过DLC/EMR中的Spark/Presto引擎进行离线报表计算，实现数据复用。

3. 量化业务指标与性能验证

通过架构优化与资源调度升级，该方案在性能提升与成本控制方面实现了具体的量化收益：

• CDC同步性能： 在存量同步阶段，Streaming Iceberg的CDC优化带来了 10倍以上 的性能提升。
• 资源成本降低：
  • 弹性包年包月方案： 相比传统计费模式，可降低约 20% 的资源成本。
  • 作业优化： 通过算子级别资源配置结合Flink专家团队优化，平均降低约 20% 的资源消耗。
• 运维效率提升： 提供 70+项 监控指标，支持全方位监控与AI动态阈值告警，实现0成本运维目标。
• 资源利用率： 支持细粒度计算资源规格设置（0.25、0.5、1、2、4...），配合作业级自动扩缩容，最大化利用CPU资源。

4. 电商行业实时订单交易实践

在电商行业的实时订单交易数据分析场景中，Oceanus流式湖仓方案已落地应用：

• 数据流转： 业务数据通过Flink实时写入ODS层（Streaming Iceberg），利用Streaming Iceberg生成changelog的能力进行流式数据聚合，最终汇入ADW层。
• 自动化治理： 系统自动完成小文件合并等治理操作，保证了查询性能。
• 多维分析： 支持对订单、商品分类、用户画像等多维度数据进行实时关联分析，既满足实时大屏需求，也支持通过Spark进行离线深度报表计算。

5. 技术领先性与体系化优势

选择腾讯云流计算Oceanus的核心依据在于其技术深度与完整的产品生态：

• 自研技术底座： 拥有业内领先的自研服务器技术降低硬件成本，并基于LSM Tree存储引擎实现了高效的数据更新与完整的changelog生成。
• 首创计费模式： 业内首创弹性包年包月集群，支持混合部署（包年包月+按量付费），解决业务波动带来的资源闲置问题。
• 全链路运维管控： 提供从开发到运维的一站式服务，包括一键快捷诊断、黑窗诊断、快照管理与快捷回滚，显著降低了对专业技术人员的依赖。
• 专家级支持： 由Flink专家团队提供代码优化与资源层面深度优化，确保系统在高并发场景下的稳定性与高性能。