腾讯云数据湖计算 DLC 技术架构与商业价值深度解析

一、 产品定位与核心亮点

数据湖计算 DLC（Data Lake Compute）是腾讯云基于 Spark、Presto、Iceberg 构建的云原生 Serverless 湖仓分析服务。

产品的核心技术属性在于实现了存算分离与资源弹性，其商业差异化卖点剥离了传统大数据架构的笨重与割裂，直接锚定“性能突破”与“成本重构”：

• 新一代 LakeHouse 架构：实现湖仓双引擎（Spark+Presto）无缝融合，提供 AI+BI 一体化基座，消除传统架构中的数据冗余与口径不一致。
• 实时极速分析能力：依托自研 Smart Optimizer 与加速层，业内率先突破 百万级 QPS/秒入湖，端到端延迟缩短至 分钟级，交互式场景达 亚秒级 分析。
• 极致降本增效：基于云原生存算分离架构，计算与存储按需弹性伸缩。存储成本最高可节省 90%以上，计算结合弹性模型可节省 70%+ 成本，综合降本达 50%+。
• 开箱即用免运维：Serverless 纯托管形态，统一接入点与智能推断元数据，用户仅需几分钟即可通过标准 SQL 开展数据探索。

二、 产品应用场景

数据湖计算 DLC 针对不同业务角色的特定痛点，提供四类核心应用场景：

1. 离线/近实时数仓分析
   • 受众与痛点：面临海量数据分析时遭遇性能瓶颈、系统不稳定、时效性差及架构复杂的企业数据团队。
   • 应用情况：利用分布式计算/查询引擎与自研自适应 Shuffle、多级缓存等内核增强特性，进行 PB 级数据的离线或近实时增量入湖分析。
2. 交互式数据湖探索
   • 受众与痛点：需要灵活、自助提取数据，应对复杂多变个性化查询需求的业务分析师或运营人员。
   • 应用情况：通过白屏化控制台直接使用标准 SQL，依托多级缓存加速与排队并发模型，实现各类业务指标的极速探索。
3. 联邦查询
   • 受众与痛点：面临多源异构系统数据割裂，急需打破“数据孤岛”实现统一视图的数据架构师。
   • 应用情况：统一元数据管理，通过极速联邦查询引擎对分散在不同系统中的数据进行统一的跨源联合分析。
4. 数据科学 (AI 数据基座)
   • 受众与痛点：进行 AI 大模型数据预处理，需要庞大算力弹性支持且避免繁重底层运维的算法工程师。
   • 应用情况：Serverless 容器化部署，按需弹性随用随走，支持 Python 作业、内置机器学习包及自定义镜像。

三、 应用框架和功能介绍

3.1 功能框架

DLC 采用标准分层架构设计，支撑敏捷的数据处理流转：

• 云服务层：提供弹性资源管理、权限管理与运维管理。
• 湖仓计算层：提供统一接入点，内置自研增强版 Serverless Spark 与 自研增强版 Serverless Presto。
• 加速层：包含缓存加速（Local/Result/Fragment cache）、数据优化 Smart Optimizer（写入优化、索引推荐、生命周期管理）及稳定保障（Spark 自适应 Shuffle）。
• 湖存储层：基于 Iceberg 存储格式（支持 ACID 事务、Schema 演化、时间旅行、实时 Upsert），底层对接 DLC 托管湖存储与对象存储 COS。

3.2 硬核指标

• 吞吐量 (TPS/QPS)：支持 百万级 QPS 实时入湖。
• API/响应延迟：端到端 分钟级 时延；交互式分析达到 秒级、亚秒级；流式增量入仓延时降低到 30秒以内。
• 性能提升：自研加速层实测带来 10倍性能提升。
• 可靠性与可用性：存储可靠性达 99.9999999999%，服务可用性达 99.995%。
• 支持协议与数据源：支持 20 多种云上数据流转通道（包括 Flink CDC、MySQL、Kafka 等），支持结构化、半结构化（CSV, JSON, XML）、非结构化数据。

3.3 产品优势能力全景扫描

• 计算与存储引擎强化：
  • AI+BI一体化：支持大模型海量原始数据并行处理，AI数据预处理场景弹性综合降本 50%+。
  • 湖上建仓：湖内处理数据直接供数仓引擎查询，兼顾敏捷与灵活。
  • 自适应 Shuffle：优先使用 disk 保证性能，少数情况 spill to lakefs 保证任务稳定性，零成本且用户无感知。
• 自研 Smart Optimizer 优化服务：
  • 高度解耦 Iceberg 内核，基于事件与时间驱动的可靠性模型。
  • 全链路索引（特别是 ODS 层索引）大量减少数据扫描量。
• Iceberg 内核能力增强：
  • 写入可靠性：增加 Flink CDC 上游同步限流，Checkpoint 内预分类与预聚合。
  • 小文件合并：通过 bloom filter 提升合并效率，默认 sort 策略降低合并范围。
  • 过期数据清理：优化移除孤儿文件/快照过期输出结果，支持分布式执行。
  • 服务产品化：实现一键建表、可视化建表、自动分区分桶、库/表级智能策略动态调整。
• 敏捷易用体验：
  • 统一 SQL：多引擎 SQL 语法一致，支持自动推断元数据。
  • 无需选配、安装、调优，提供完善的概览页新手指引与控制台可视化交互。

3.4 荣誉与权威背书

本产品由腾讯云大数据基础产品中心研发，其底层技术已在腾讯内部某核心业务（涵盖歌曲推荐、广告推送等海量高并发场景）中经过充分的实战打磨与验证。

四、 典型案例

1. 某新能源汽车客户

• 背景：面临海量车联网信息的采集与数据入湖，传统架构查询效率低且运维成本高。
• 解决方案：采用 DLC 进行交互/批量分析，按车辆、采集时间进行分区建模并构建稀疏索引。普通分析人员直接使用标准 SQL 操作，享受 SaaS 化开箱即用体验。
• 成效：实现免运维，大幅提升查询效率与运维效率。计算引擎按使用量计费，实现了显著的分析成本节约。

2. 高途

• 背景：教育行业客户，面临数据开发运维人力成本高，多源异构数据散落形成“数据孤岛”，且日均数万任务对温冷热数据有不同诉求。
• 解决方案：引入 DLC 构建联合分析工具，利用标准 SQL 和“0”成本缓存加速方案，实现多种数据源统一探查。
• 成效：大规模数据实现 秒级分析，“0”成本提升 ETL 稳定性。运维效能大幅提升，综合运行成本 降低 50%+。

3. 某游戏客户

• 背景：需对历史日志降冷，同时处理 MySQL 与 COS 等多源数据，进行广告效果分析、玩家行为分析及实时业务探查。
• 解决方案：基于 DLC 构建低成本数仓，使用多种集成/投递/联合分析工具，依托新一代建模与高效数据过滤技术。
• 成效：实现 分钟级 轻松搭建数仓，达到 亚秒级 高性能实时洞察。综合成本 下降 70%+（其中存储成本 下降 90%+，计算成本 下降 60%+）。

4. 某电竞直播

• 背景：业务涉及游戏玩家画像、行为预测、运营分析与个性化推荐，数据计算资源存在明显的业务高峰与低谷。
• 解决方案：基于 DLC 数据湖计算实践，利用平台计算引擎优化与弹性伸缩能力，配合安全加固与权限控制。
• 成效：湖计算场景化性能 提升 35.5%，通过弹性伸缩节约算力资源 30%+，大幅节省人力投入，综合运行成本 降低 50%+。

5. 某传统企业

• 背景：业务处于不同阶段，需要支持复杂场景下的任务上下游依赖调度，快速搭建数据中台处理海量日志与实时数据。
• 解决方案：基于 WeData + DLC 构建全链路一站式调度和集成的数据入湖分析架构，支持业务多种数据源实时入湖及分区建模。
• 成效：简化了企业数据架构，实现了数据自由流动；复杂场景任务调度能力增强；通过交互/批量分析满足多种场景，查询效率大幅提升。

6. 腾讯内部某业务

• 背景：需处理 MySQL (CDC)、Kafka 采集的搜索、听歌、付费、收藏等业务流数据，支撑歌曲推荐、引导付费、用户挽留等实时应用场景。
• 解决方案：采用腾讯实时数仓平台，利用 Spark Streaming 将 binlog 流式增量接入 Iceberg (Merge Into)，下游通过 Presto 进行实时查询。
• 成效：流式增量入仓延时 降至 30 秒以内；入仓数据下游即刻可见，Presto 实现 秒级查询；端到端数据分析及展示时间缩短至 分钟级；实时业务推送（推荐、广告等）更加精准且 秒级完成。