数据万象（CI）多模态智能检索服务技术概要

一、 产品定位与核心亮点

数据万象（Cloud Infinite, CI）多模态智能检索是腾讯云推出的基于 COS（对象存储） 的一站式智能数据处理服务。其核心技术属性在于利用 自研特征提取服务及检索引擎，将非结构化数据（图片、视频、音频、文档）转化为向量特征，并映射到统一特征空间，实现跨模态检索。

商业差异化卖点：

• 多模态融合：支持文本、图片、视频等多种模态数据的混合检索。
• 场景深度适配：自研引擎特别适配中文电商场景，解决了通用检索在垂直领域的语义理解偏差。
• 检索机制创新：结合结构化标签与向量数据（Hybrid Search + Rerank），解决非结构化数据占比高、文件小数量多导致的检索低效问题。

二、 产品应用场景

本产品主要面向拥有海量非结构化数据的企业，解决其在数据管理与应用中的检索痛点：

1. 电商行业：
   • 痛点：商品库SKU庞大，用户难以通过文字精准描述商品；图片质量参差不齐（如手机拍摄背景复杂）。
   • 场景：用户通过上传图片搜索相似商品，或通过关键词检索特定品类（如“加湿器”）。
2. 视频与内容平台：
   • 痛点：视频内容难以通过文件名检索，需识别内容特征。
   • 场景：基于视频帧特征进行内容检索，或根据人物、地点、表情等信息构建智能相册。
3. 数据治理与监管：
   • 痛点：在上亿级别的海量文件中查找特定合规文件效率极低。
   • 场景：基于数据审计或监管要求，快速定位包含特定关键词、人物或场景的文件。

三、 应用框架和功能介绍

1. 功能框架

产品的核心逻辑建立在COS存储基础之上，通过智能处理引擎实现数据增值：

• 数据入库与预处理：
  • 智能抠图：自动识别商品图像，智能抠取有效图像，去除背景干扰。
  • 特征提取：基于预处理后的图像进行特征提取，并支持按标签规划分类。
• 检索服务：
  • 以文搜图/搜视频：通过文本关键词提取特征，检索对应媒体内容。
  • 以图搜图/搜视频：计算被搜图像特征，与特征库进行比对。
  • 混合检索：结合向量相似度与结构化标签（如拍摄时间、地点、人物）进行精细化过滤。
• 辅助管理：
  • 搜前分类提示：用户可提前选择分类，提升文本搜索准确率。
  • 元数据管理：结合自研元数据管理平台，提升元数据利用率。

2. 硬核指标

• 检索规模：支持百万级图库检索。
• 响应速度：秒级返回检索结果。
• 数据格式：覆盖图片、视频、音频、文档等全媒体文件类型。
• 数据集支持：包含海量中文语料数据集，针对中文语义进行了优化。
• 接口支持：提供 API 及 SDK 接入方式。

3. 产品优势

• 精准度提升：通过智能抠图技术先处理图像再提取特征，使得特征库更准确，被搜图像特征计算更精准。
• 检索灵活性：支持文本、图片多种检索形式，满足不同交互习惯。
• 架构优势：基于 COS 对象存储构建，数据统一存储，便于对接多个处理平台（如数据湖架构）。
• 处理能力：除检索外，依托数据万象平台，具备图片处理（裁剪、压缩、格式转换）、内容审核（色情、广告、特殊物品）、版权保护等附加能力。
• 海量数据治理：能够从数十亿文件中快速查询指定条件的文件，支持查询文件数量统计、格式占比分析等。

4. 荣誉背书

• 文中未提及具体奖项（原文无相关内容）。

四、 典型案例

根据原文提供的业务流程描述，展示产品在实际业务逻辑中的应用路径：

案例 1：电商网站商品检索

1. 背景：电商网站（如加湿器、手机销售商）面临商品图片背景杂乱、用户搜索意图（文本/图片）多样化的挑战。
2. 解决方案：
   • 入库阶段：利用 COS 存储桶 存储原始图片（如加湿器图片库、手机图片库）；调用 数据万象智能抠图接口 去除背景，提取有效图像；利用 图片标签接口 规划产品分类，创建独立的搜索图片库（如加湿器特征库）。
   • 检索阶段：用户上传图片或输入文本（如“计算机”），系统调用 智能检索接口 进行特征比对，精准搜索对应特征库。
3. 成效：
   • 提升搜索效率和准确率（通过分类库和预处理）。
   • 实现秒级返回百万级库下的检索结果。

案例 2：视频平台内容管理

1. 背景：视频平台需要处理大量上传的视频和图片，需快速从海量数据中定位特定内容。
2. 解决方案：
   • 数据入库时上传图片、视频至系统。
   • 系统通过 Text encoder 和 Image encoder 对全媒体文件进行特征提取并存储至 COS。
   • 支持输入检索文本/图片/视频，进行 Embedding 相似度对比。
3. 成效：
   • 实现跨模态检索（以文搜视频、以图搜视频）。
   • 支持从数十亿文件中快速查询，辅助构建智能相册或内容审核。