腾讯云 TBDS 新一代数据湖仓产品与商业实践概要

数据来源说明： 本概要基于2024腾讯全球数字生态大会主讲人 莫亦寒 的《TBDS新一代数据湖仓助力企业数据架构升级》主题报告内容提炼。

一、 产品定位与核心亮点

技术定义

TBDS 是一套基于“云原生+大数据+AI技术生态”构建的新一代数据湖仓平台。它采用全新 Lakehouse 数据架构设计，通过一套平台统一提供“经典大数据平台”与“全新一代大数据平台”两种形态，实现计算与存储的按需伸缩与完全解耦。

商业差异化卖点

• 平滑演进与全场景覆盖： 兼容传统 Hadoop 生态，同时提供基于容器的云原生无服务器形态，打通数据入湖、存储、分析到应用的全生命周期。
• 极致计算与存算解耦： 摆脱传统大数据平台资源无法准确估算的高成本困境，利用 K8S 原生能力实现计算无限伸缩，且不锁定私有云设施。
• 全面信创与合规底座： 提供业内最优的全方位国产化替代能力（覆盖 CDH 替换、多芯混部、国密算法、异地灾备），是政务与金融等强监管行业信创升级的首选方案。

二、 产品应用场景

TBDS 主要面向存在数据孤岛、对数据时效性要求极高，且面临大规模资源调度瓶颈的政企客户（如金融银行、保险机构等）。针对不同业务线受众，其解决的特定场景痛点如下：

• 全行级数据研发与资产管理团队： 解决多源数据孤岛与找数难问题。通过全量数据统一入湖（手机银行、小程序、网点智能柜台数据），实现先存后用。
• 业务运营与市场决策层（低延时流计算）： 解决传统 T+1 报表滞后问题。提供实时决策支持、交易反欺诈、反洗钱、量化交易及客户短期兴趣画像洞察。
• 财务与风控审计团队（高性能批计算）： 解决大规模对账及历史数据回溯慢的痛点。支持核心对账、历史铺底及长期客户画像，数据更新由天级提升至小时级。
• 数据分析师（湖上查询加速）： 解决跨源查询需频繁搬迁数据的瓶颈。为全行审计、业务指标探索提供加速，查数时间从小时级缩短至分钟级/秒级。

三、 应用框架和功能介绍

1. 功能框架

平台采用全面统一的 All-in-One 架构：

• 统一存储层： 涵盖 HDFS 与 COS，全面支持 Iceberg、Hudi 等开放表格式（Open Table Format）。
• 统一计算层： 划分为数据湖计算（Spark、Flink 缓存加速）与数据仓库计算（TCHouse 缓存及物化视图）。
• 统一管控面： 包含 Unified Catalog（统一元数据管理）、统一权限管控（IAM ABAC）、以及跨集群联邦控制平面（Virtual Cluster）。
• 生态集成： 向上无缝对接 WeData、腾讯云 BI、探索分析及 TI-ONE（AI平台）；底层集成全场景数据集成工具 DataInLong。

2. 硬核量化指标

• 时效性提升： 核心数据流转由传统的 T+1 升级为 近实时（分钟级/秒级）。
• 性能提升： 海量数据查询实现 3倍提速。
• 弹性指标： 支持 秒级 启停与无感弹性扩缩容。
• 接入协议： 元数据访问提供 REST、JDBC、Thrift 多种标准接口。
• 集群规模： 单一平台可支撑并突破 4000+ 节点 的技术规模瓶颈。

3. 产品优势全景扫描

• 更轻（架构敏捷）： 技术栈统一聚焦，支持存算按需伸缩；提供无服务形态，一次部署随开随用。
• 更易用（开放解耦）： 全面云原生化，易于运维；开放不锁定厂商，易与生态集成；提供智能数据与业务诊断，调优全托管且优化过程可观测。
• 更安全（立体防护）： 支持多级多租户隔离无干扰；通过集中管控实现数据与资源权限的一体化管理（与 Ranger 生态兼容互通，与 CAM 体系打通）；提供基于文件/目录/库/表/列的精细化访问控制，全面强化 5A 安全体系。
• 全面信创适配（多芯混部）： 全面支持国内主流芯片（鲲鹏、海光、飞腾、兆芯）、操作系统（TencentOS、麒麟、统信、红旗）及数据库（TDSQL、达梦、金仓、神通）。支持 X86 与 ARM 异构机型的无差别混合部署。支持单双栈 IPv6 及 HDFS 国密（SM4）透明加密。

4. 荣誉与资质背书

• 产品已正式收录进国家权威的《信创技术图谱》产品库。
• 拥有 15+ 核心信创资质，取得 40+ 兼容互认证。
• 获得 40+ 独家专利与 30+ 软件著作权。
• 累计荣获 20+ 行业奖项，落地 50+ 标杆信创项目。

四、 典型案例

案例一

1. 背景： 某头部保险公司

该客户为保险行业排名前列的标杆企业。原有架构中多数据源需进行数据多份存储；离线处理依赖 Hive 跑批，时效性仅为低效的 T+1；且原有 ClickHouse 并发能力低，跨表复杂分析能力弱。客户急需替换原有的 CDH/CDP/华为 架构，实现全场景统一。

2. 解决方案：

采用 TBDS 控制平台 (TM) 作为底座进行分离到统一的改造：

• 构建基于 Iceberg 的数据湖与 StarRocks (SR) 的数仓方案。
• 计算层应用 Spark 离线计算与 Flink 实时分析，打通 ODS -> DWD -> DWS -> ADS。
• 通过 WeData 平台，贯穿从数据集成、开发、治理到数据资产盘点的全链路。

3. 成效：

• 完成保险行业首个国产化数据湖仓一体落地实践。
• 核心业务（客户经营、监管报送、智能应用）时效性由 T+1、小时级跨越升级为分钟级，成功支撑营销活动平台于 2024 年 4 月上线。

案例二

1. 背景： 某头部股份制银行

该客户为中国十大银行品牌之一（TOP3股份制银行），拥有庞大的 4000+ 节点 大数据集群。客户核心诉求包括突破大规模性能瓶颈、实现资源利旧（X86 与 ARM 混布支持）、建立数据容灾体系，并要求架构版本开放、双方能进行湖仓能力联创。

2. 解决方案：

实施 TBDS 大数据平台升级方案：

• 硬件层面实现多芯（海光 X86 + 鲲鹏 ARM）混合部署与优化。
• 数据层面构建“一湖二区”，实现湖上建仓及实时/近线/离线湖仓全覆盖。
• 安全与合规层面支持大规模联邦、数据容灾、国密 SM4 加密及小文件治理，并开启 IPv6 单双栈。

3. 成效：

• 全栈国产化： 从底层硬件、大数据平台到上层应用全面实现国产化升级，预计 2026 年实现全行统一。
• 性能突破： 成功突破 4000+ 节点 规模下的技术瓶颈，满足行内全场景业务诉求。
• 安全可控： 打破厂商绑定限制，信创资源下的数据隔离、容灾等能力全面满足严苛的金融监管要求。