腾讯云数据湖计算DLC产品概要

一、 产品定位与核心亮点

数据湖计算DLC 是一款基于Spark、Presto、Iceberg构建的云原生Serverless湖仓分析服务。其核心技术属性为 存算分离架构，核心商业差异化卖点在于 极致的成本效益 与 开箱即用的敏捷性。产品定位为覆盖湖（如AI数据预处理）与仓（如交互式分析）场景的 一体化数据分析平台。

二、 产品应用场景

• 离线/近实时数仓分析：面向需要进行海量PB级数据分析的企业。解决其在性能、稳定性、时效性方面的挑战。
• 数据科学：面向AI研发团队。解决大模型海量原始数据预处理的需求，提供容器化、按需弹性的计算环境。
• 交互式数据湖探索：面向业务分析人员。支持其使用标准SQL灵活、自助地探索数据，满足个性化查询需求。
• 联邦查询：面向需要整合多源异构数据的企业。解决数据散落形成孤岛、难以统一分析的问题。

三、 应用框架和功能介绍

功能框架

产品技术架构自上而下分为：

1. 应用场景层：支持数据科学、交互式分析、联邦分析、BI报表等。
2. 计算引擎层：提供自研增强的Serverless Spark引擎和Serverless Presto引擎。
3. 加速与优化层：包含自研加速层（多级缓存）与数据优化服务（SmartOptimizer）。
4. 存储层：基于Iceberg格式的DLC托管湖存储，底层对接对象存储COS，支持ACID事务、Schema演化等功能。

硬核指标

• 数据可靠性：99.9999999999%（12个9）（来源：产品介绍页）。
• 服务可用性：99.995%（来源：产品介绍页）。
• 实时入湖性能：支持百万级QPS实时入湖，端到端时延可达分钟级（来源：产品介绍页）。
• 查询性能：通过自研加速层，用户实测性能提升10倍，可实现亚秒级分析（来源：产品介绍页）。

产品优势

1. 成本节约
   • 存储成本：存算分离架构，按实际用量付费，结合归档存储，可节省90%以上存储成本（来源：成本分析图例）。
   • 计算成本：秒级算力调度，自动启停，按量计费。同等算力下，结合弹性伸缩可比传统集群节省70%+ 成本（来源：成本对比案例）。
   • 综合成本：多个客户案例显示综合运行成本降低50%+。
2. 敏捷易用
   • Serverless免运维：无需选配、安装、调优底层架构，开箱即用。
   • 统一SQL入口：支持多引擎标准SQL语法。
   • 可视化操作：提供丰富的控制台交互能力，支持数据可视化探索、自动推断元数据、可视化建表。
3. 高性能分析
   • 实时极速：自研数据优化服务保障高吞吐、低延迟数据入湖。
   • 查询加速：自研多级缓存（Local cache、Segment cache、Result cache）技术。
   • 引擎增强：具备自适应Shuffle、索引推荐、分区优化等内核增强特性。
4. 开放与统一
   • Lakehouse架构：基于Iceberg开放格式，兼具数据湖的灵活性与数据仓库的管理能力。
   • 联邦查询：支持跨多数据源统一查询分析。
   • 统一元数据管理：提供统一的数据视图。

荣誉背书

• 文中提及产品为 腾讯云大数据基础产品中心 研发。
• 产品采用 Iceberg 等业界主流开源技术并进行了深度自研增强。

四、 典型案例

1. 某新能源汽车客户 - 车联网数据分析
   • 背景：海量车联网数据分析需求，面临运维和查询效率挑战。
   • 解决方案：使用DLC进行数据入湖，并通过按车辆、采集时间分区建模、构建稀疏索引优化查询。
   • 成效：实现免运维；查询效率大幅提升；使用标准SQL降低门槛；按量计费节约分析成本。
2. 某教育行业客户（高途） - 高性能联邦分析
   • 背景：多源异构数据形成孤岛，数据开发运维难度高，日均数万任务。
   • 解决方案：采用DLC-Presto引擎进行交互式联邦查询，DLC-Spark引擎处理批处理任务。
   • 成效：综合运行成本降低50%+；运维效率大幅提升，节省人力投入；实现大规模数据秒级分析。
3. 某游戏客户 - 构建低成本数仓
   • 背景：需要构建高效、低成本的数据仓库。
   • 解决方案：基于DLC构建数仓，利用其集成/投递工具快速搭建，使用Iceberg建模。
   • 成效：综合成本下降70%+（其中存储成本下降90%+，计算成本下降60%+）；数仓搭建效率大幅提升；实现亚秒级高性能分析。
4. 某电竞直播客户 - 数据湖计算实践
   • 背景：需要进行游戏玩家画像、行为预测等运营分析。
   • 解决方案：应用DLC进行数据ETL处理和分析。
   • 成效：湖计算性能提升35.5%；算力资源节约30%+；综合运行成本降低50%+。
5. 某传统企业 - 基于WeData+DLC的数据入湖分析
   • 背景：需要实现多数据源实时入湖和全链路任务调度。
   • 解决方案：结合WeData数据开发治理平台与DLC，实现数据同步、加工和分析。
   • 成效：任务调度能力增强；实现全链路一站式调度和集成；企业数据架构简化。
6. 腾讯内部某业务 - 实时数据湖建设
   • 背景：需要支持歌曲推荐、付费引导等实时业务，要求低延迟数据分析。
   • 解决方案：通过Spark Streaming消费Kafka数据，结合CDC以流式增量方式入湖至Iceberg表，并通过Presto进行查询。
   • 成效：流式增量入仓延时降低到30秒以内；下游可秒级查询；端到端数据分析展示时间缩短到分钟级；实时业务推送更精准。

五、 总结

腾讯云数据湖计算DLC的核心价值在于通过云原生的 存算分离 和 Serverless 架构，为企业提供了一种兼具 极致性价比、高性能分析 和 开箱即用 体验的一站式大数据解决方案。其成熟的Lakehouse架构能有效应对多种数据分析场景，并已在多个行业的头部客户中得到验证，实现显著的降本增效。