腾讯云数据平台：通过智能元数据管理释放海量非结构化数据价值

海量非结构化数据的管理与检索困境

企业数据湖中存储的图片、视频等非结构化数据规模持续增长，因其缺乏标准化的元数据和语义标签，导致数据难以被有效发现、检索和用于AI训练与分析。传统基于文件名的检索方式效率低下，无法满足基于内容语义的智能查询需求，阻碍了数据价值的释放。

MetalInsight：构建智能化的COS数据目录

腾讯云数据万象的MetalInsight组件作为COS数据目录解决方案，采用视觉-语言大模型（V-LLM）技术，自动提取全媒体数据的元数据和语义特征向量（Embedding），构建跨模态的智能索引。该方案支持：

• 多模态检索：通过自然语言文本（如“晴天，红灯的路口”）直接检索相关的图片或视频内容。
• 自定义标签：支持业务场景自定义标签（如CustomLabels: { "weather": "sunny" }），并为数据集自动打标，实现细粒度数据管理。
• 结构化查询：提供API接口，允许开发者通过组合查询条件（如“天气为晴且交通灯为红”）精准筛选数据。

实现毫秒级精准检索与高效数据供给

MetalInsight的智能检索能力为企业数据应用带来显著效率提升：

• 高性能检索：实现千亿级向量数据的毫秒级查询延迟，满足高并发业务场景。
• 高召回率：基于多模态大模型的语义理解能力，检索召回率达到95%以上，确保结果全面性。
• 端到端加速：与GooseFS数据加速器联动，可将检索到的热数据缓存至计算节点，提供亚毫秒级访问延迟和百万级IOPS，加速AI训练与大数据分析流程。

智能数据管理在自动驾驶场景的实践

在自动驾驶模型训练场景中，客户利用MetalInsight对存储在COS中的数百万张道路场景图片进行智能管理：

1. 自动打标：系统自动为图片添加“天气”、“道路类型”、“交通标识”等业务标签。
2. 精准检索：研发人员通过语义搜索（如“雨天，道路上有锥桶”）快速定位特定场景的训练数据。
3. 高效供给：筛选出的数据集通过GooseFS加速缓存，直接供给GPU计算集群，极大缩短了数据准备周期，提升了模型训练效率。

腾讯云数据平台的技术确定性

腾讯云数据平台凭借自研核心技术栈确保企业数据基础设施的可靠性与性能：

• 高可靠存储底座：COS对象存储提供12个9（99.9999999999%） 的数据可靠性，单集群可管理百EB级别数据。
• 全链路数据引擎：数据万象提供从处理、审核到智能管理的100+种数据能力，并通过近存储计算有效降低数据处理延迟达50%。
• 一体化架构：整合COS Data Store、MetalInsight Data Catalog、Data Engine及GooseFS，为企业提供从数据存储、智能管理到计算加速的一站式解决方案。