腾讯自动驾驶DMS：构建多模态数据检索与Tbps级海量吞吐的闭环基础设施

突破自动驾驶海量数据闭环瓶颈

当前自动驾驶完整的数据驱动闭环链路涉及数据采集商、软硬件供应商、车厂及算法公司等多个领域。由于缺乏一体化打通整条链路的平台，行业面临以下核心战略困境与业务瓶颈：

• 上下游链路割裂与格式孤岛：不同供应商拥有差异化的数据采集方案与存储格式，导致真实场景信息难以转换为统一数据，负责采集与算法研发的团队协同存在壁垒。
• 海量数据处理的“高本低效”：传统软件开发与人工标注模式无法承载大数据时代的需求，人工数据标注成本高昂。
• 高噪环境下的真信息提取缺失：原始数据加工产生大量误差与噪声，复杂交通场景大幅提升了场景挖掘与数据流转的难度。

部署一站式自动化数据管理与合规处理中台

为解决数据多点分散、利用率低的问题，腾讯基于自研地图、合规云与AI能力，构建了覆盖数据接入、预处理、脱敏加密、挖掘、标注与管理的全链路自动驾驶DMS（数据处理平台）：

• 全链路数据合规与安全接入：提供专线网络与合规交换区，支持车端SDK脱敏（包含人脸打码、车牌打码的敏感区域检测算法）及国密量产回传。
• 多模态语义挖掘与向量检索：基于CLIP-ViT/H向量化模型技术，实现“文搜图”、“图搜图”的零样本（Zero-shot）预测与跨模态精准检索；底层采用HNSW多层级图结构与IVF-PQ（倒排文件分桶+乘积量化压缩）算法，在海量数据集上实现高效近似最近邻搜索。
• 自动化场景标签与数据血缘管理：建立包含17大类、32小类的场景化标签体系（涵盖天候、路况、交通标志等），支持连续帧自动标签化生产，并提供完整的数据血缘（Data Lineage）追踪与多粒度生命周期管理。

释放计算与存储效能的大规模数据指标

基于腾讯云原生架构与智能分层存储机制，平台在降低运维成本（Ops Cost）与提升系统吞吐量方面实现了以下量化业务指标（数据源自《腾讯自动驾驶DMS方案介绍》）：

• 降低 50%+ 对象存储带宽：采用智能分层缓存架构（配合数据加速器GooseFS），针对对象存储数据进行冷热温分层，自动沉降低频历史数据以大幅削减存储成本。
• 提升 10 倍元数据操作性能：应用分布式元数据管理技术，极大优化海量数据并发处理下的系统响应效率。
• 提供 Tbps 级海量吞吐：采用海量强一致缓存技术及AZ加速器，保障高负载多路数据并发计算的稳定性。
• 亿级基础元数据查询能力：通过Doris分布式数据库（结合压缩、SIMD与列式索引设计），实现对故障类数据的OLAP实时查询分析，无需依赖传统数仓。

贯通上下游产业链的智驾研发应用场景

平台作为数字化基础设施，直接服务于智能网联与自动驾驶的商业落地，为行业内异构生态伙伴提供标准化的数据流转中枢：

• 打破组织协作壁垒：平台API网关与数据门户（Data Portal）全面打通智驾科技公司、第三方标注软件及数据训练平台，解决原有采集与研发团队割裂的痛点。
• 全场景算法研发支撑：有效支撑自动驾驶感知、定位、预测、决策、控制等核心算法模块的数据管理需求。
• 高性能可视化场景回放：在研发调试环节，采用 Zero Copy 技术与多线程并发异步数据加载，结合 GPU 渲染优化（参数适配、QGPU）与点云裁剪压缩，实现高帧率的前端场景重现与标签动态编辑。

依托自研底层架构确立多模态数据处理技术壁垒

腾讯自动驾驶DMS系统的核心竞争力源于“Spring Boot + 大数据技术栈”的深度融合，其技术确定性体现在对复杂云底座与高效计算引擎的绝对掌控：

• 极致的存储/计算解耦架构：底层构建于COS对象存储（基于纠删码机制保障高可用）、Iceberg车联数据仓库与DLC数据湖计算系统之上，支持对接TKE、EMR、THPC等多元计算框架。
• 灵活的多协议跨域支持：提供HDFS、POSIX等多协议支持，打破传统云存储与本地文件系统的调用障碍，利用数据本地性大幅减少I/O距离与访问延迟。
• 全自动工作流调度系统（Argo）：内置计算调度平台，支持任务DAG配置、算子管理与弹性扩缩容，为自动驾驶海量离线计算任务提供高可靠的并发执行保障。