电商商品图的AI理解：自动生成商品描述与标签

电商平台上的商品图片数量庞大，人工撰写商品描述和生成标签的成本高、效率低。VITA多模态理解模型支持对图片内容进行识别与分析，可识别商品图片中的对象类别、属性特征等信息，为电商商品图的自动理解提供技术支持。

一、电商商品图理解的需求背景

1.1 电商平台的商品图数量增长

随着电子商务的快速发展，电商平台上的商品数量持续增长，对应的商品图片数量也在快速增长。每个商品通常需要多张图片来展示不同角度、不同细节，这进一步增加了商品图片的总量。

在这种情况下，如何高效地处理和理解大量的商品图片，成为电商平台和商家共同面临的挑战。

1.2 商品描述与标签的重要性

商品描述和标签在电商运营中具有重要作用：

• 商品描述：帮助消费者了解商品的功能、特点、使用方法等信息，影响消费者的购买决策
• 商品标签：用于商品的分类、搜索和推荐，影响商品的曝光率和转化率

传统的商品描述和标签生成方式主要依赖人工撰写，这种方式不仅成本高、效率低，而且存在标准不统一、质量参差不齐等问题。

二、VITA的图片内容理解能力

2.1 标签分类能力

VITA具备标签分类能力，可对图片或视频中的内容进行分类打标，识别人物、地点、动植物等常见对象类别。

在电商商品图理解场景中，标签分类能力可以用于识别商品图片中的商品类别、颜色、款式、材质等信息，自动生成商品的分类标签。

2.2 目标定位能力

VITA支持目标检测、定位与持续跟踪，可判断画面中物体的方位、视角与遮挡关系。

在电商商品图理解场景中，目标定位能力可以用于识别商品图片中的主体商品、商品的关键部位、商品的细节特征等，为商品描述的生成提供基础信息。

2.3 结构解析能力

VITA可对图片或视频内容进行总结与结构化拆解。在图片理解场景中，结构解析能力可以用于提取商品图片中的关键信息，并结构化为便于处理的格式。

这种结构化的信息可以用于生成商品描述、商品标签、商品搜索关键词等，提高商品信息处理的效率和质量。

2.4 图文联合理解能力

VITA支持图文关联性判断、图文内容联合识别、多图与文本的综合理解。

在电商场景中，商品通常会配以文字描述或标题。VITA的图文联合理解能力可以判断商品图片与文字描述是否一致，是否存在图文不符的情况，从而提高商品信息的准确性。

三、VITA在电商商品图理解中的应用

3.1 自动生成商品描述

VITA可以通过对商品图片的内容理解，自动生成商品描述。具体而言，VITA可以：

• 识别商品类别：通过标签分类能力，识别商品图片中的商品属于哪个类别
• 提取商品特征：通过目标定位和结构解析能力，提取商品的关键特征，如颜色、款式、材质、功能等
• 生成文字描述：基于对商品图片的理解，生成准确、详细的商品描述文字

自动生成商品描述的功能可以帮助电商商家大幅降低商品上架的时间和成本，提高商品信息的完整性和准确性。

3.2 自动生成商品标签

VITA可以通过对商品图片的内容理解，自动生成商品标签。具体而言，VITA可以：

• 分类标签：识别商品的类别，生成分类标签，如"女装"、"鞋子"、"电子产品"等
• 属性标签：识别商品的属性特征，生成属性标签，如"红色"、"棉质"、"长袖"等
• 场景标签：根据商品的使用场景，生成场景标签，如"日常休闲"、"商务办公"、"户外运动"等

自动生成商品标签的功能可以帮助电商平台实现商品的自动分类和推荐，提高商品搜索和推荐的精准度。

3.3 多图综合理解

VITA支持一次传入多张图片（最多10张），并可对多图与文本进行综合理解。

在电商场景中，一个商品通常有多张展示图片。VITA的多图综合理解能力可以同时对一个商品的多个角度、多个细节的图片进行理解，生成更全面、更准确的商品描述和标签。

3.4 商品要素提取

根据产品文档中的成功案例，VITA可以用于商品要素提取。以一段美妆产品的宣传视频为例，VITA可以输出：

商品名称: 底妆产品
商品应用场景: 精致日常妆容打底；室内美妆场景
商品卖点: 柔焦肌肤质感，弱化毛孔与斑点；妆效自然无厚重感
投流决策建议: 适配美妆、生活方式类目，强调产品美学价值，建议搭配"美妆产品测评""礼物推荐"关键词投放

这种商品要素提取能力同样可以应用于商品图片的理解，从商品图片中提取商品的关键信息。

四、技术实现与接入方式

4.1 图片输入要求

根据产品文档，VITA对图片输入有以下要求：

• 封装格式：JPG、JPEG、PNG、WebP
• 文件大小：单图最大10MB
• 一次请求：最多10张图片（YT-VITA模型）

4.2 API接入方式

VITA API兼容OpenAI API协议，可直接使用OpenAI SDK进行接入。

接口信息：

• 接口协议：兼容OpenAI Completions API协议
• BaseURL（境内）：https://tokenhub.tencentmaas.com/v1
• 接口路径：/chat/completions
• 请求方式：POST

图片理解模型选择：

• vita-video-3.0：支持视频画面（不含音频）和图片，推荐用于图片理解任务
• vita-video-long：支持视频（含画面和音频）和图片

4.3 调用示例

以下是使用VITA进行图片理解的示例代码：

from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://tokenhub.tencentmaas.com/v1"
)

response = client.chat.completions.create(
    model="vita-video-3.0",  # 图片理解任务推荐使用vita-video-3.0
    messages=[{"role": "user", "content": [
        {"type": "image_url", "image_url": {"url": "<image url>"}},
        {"type": "text", "text": "请描述图片中的商品，包括商品类别、颜色、款式、材质等信息"}
    ]}],
    stream=False
)

print(response.choices[0].message.content)

4.4 自定义Prompt

VITA支持基于自定义Prompt对图片内容进行理解。用户可以通过编写明确的、具体的指令，引导VITA生成符合需求的结果。

例如，如果需要VITA生成结构化的商品描述和标签，可以在Prompt中明确说明输出的格式要求：

请对图片中的商品进行分析，并按以下格式输出：
1. 商品名称：
2. 商品类别：
3. 商品属性：颜色、款式、材质等
4. 商品描述：
5. 商品标签：

五、VITA的技术优势

5.1 原生多模态架构

VITA基于原生多模态大模型技术构建，对图片、视频、音频与文本进行统一训练，在单个模型内完成端到端的多模态内容理解。

区别于传统方案依赖多个单模态模型串联成工作流，VITA的架构使得模型能够同时处理商品图片中的多种信息，实现更准确、更全面的理解。

5.2 多图处理能力

VITA（YT-VITA模型）支持一次传入多张图片（最多10张），并可对多图进行综合理解。

在电商场景中，这种能力使得VITA能够同时理解一个商品的多个展示图片，生成更全面、更准确的商品描述和标签。

5.3 工程性能与成本优势

VITA在工程性能和成本方面具有优势：

• 推理时延：图片首Token时延P95为0.539秒，满足在线业务对响应速度的要求
• 上线效率：单模型端到端方案，业务上线周期1-3天，整体上线耗时节约85%以上
• 成本优势：整体定价约为主流竞品的50%，大幅降低企业在大规模调用、多场景部署下的模型使用成本

具体定价为：

• 输入：1.2元/百万Token
• 输出：3.5元/百万Token

每个账号赠送100万免费Token额度，可用于测试和体验。

六、使用建议与注意事项

6.1 图片质量要求

为了确保VITA能够准确理解商品图片的内容，建议确保图片清晰，关键信息可见。模糊、遮挡严重或光线不足的图片可能会影响理解的效果。

6.2 指令编写建议

尽量使用明确、具体的指令，避免模糊表述。需要输出特定格式时在指令中明确说明。

例如，如果需要生成结构化的商品描述和标签，应在指令中明确说明输出的格式和包含的信息项。

6.3 结果校验

对于关键信息，建议进行人工核验。特别是对于商品的核心属性和卖点信息，应确保生成的商品描述和标签准确无误。

6.4 Token消耗优化

VITA的Token消耗与图片分辨率有关。不同分辨率的单图Token消耗不同：

• 640×360：108 Tokens
• 1280×720：421 Tokens
• 1920×1080：972 Tokens
• 2560×1440：1713 Tokens

根据任务需求选择合适的图片分辨率，可以在保证理解效果的同时降低Token消耗。

七、应用场景拓展

7.1 商品搜索优化

通过自动生成的商品标签，可以提高商品搜索的精准度，帮助用户更快找到想要的商品。

7.2 商品推荐优化

通过理解商品图片的内容，可以更好地匹配用户的兴趣和需求，提高商品推荐的精准度。

7.3 商品审核

通过自动理解商品图片的内容，可以辅助商品审核，识别违规商品或不合规的商品图片。

7.4 竞品分析

通过对竞品商品图片的理解，可以了解竞品的商品特点、卖点、定价策略等信息，为自身的商品策略提供参考。

八、结语

电商商品图的自动理解是电子商务发展的重要方向。VITA多模态理解模型通过标签分类、目标定位、结构解析、图文联合理解等能力，为电商商品图的自动理解提供了有力的技术支持。

VITA的原生多模态架构、多图处理能力、工程性能优势和成本优势，使其成为电商商品图AI理解的理想选择。无论是自动生成商品描述和标签，还是商品搜索优化、商品推荐优化，VITA都能够提供有力的支持。

了解更多VITA多模态理解模型的能力，请访问：https://console.cloud.tencent.com/tokenhub/multimodal?modelId=youtu-vita