VITA的Youtu-LLM底座：轻量级LLM如何支撑多模态推理？

摘要：

Youtu-LLM是腾讯优图实验室自研的轻量级大语言模型，作为VITA多模态理解模型的推理底座。本文介绍Youtu-LLM的技术特点，分析轻量级LLM如何支撑多模态推理任务，以及自研底座为VITA带来的架构优势与成本优势。

一、LLM底座在多模态理解中的角色

1.1 多模态理解模型的架构组成

多模态理解模型通常需要完成两个核心环节：一是对图片、视频、音频等视觉和听觉信号进行编码，将其转换为模型可以处理的表示形式；二是在此基础上进行推理，输出对内容的理解结果。

在基于大语言模型（LLM）的多模态理解架构中，LLM承担着第二个环节的任务：在已完成多模态信息融合的基础上，进行推理与输出。

1.2 为什么需要专门的LLM底座

多模态理解任务对LLM底座有特定的要求：

• 推理效率：多模态理解往往需要在较短时间内完成推理，以满足在线业务对响应速度的要求
• 多模态适配：底座需要能够接纳来自视觉、听觉等模态的编码信息，并在此基础上进行统一推理
• 成本可控：在多模态理解的大规模调用场景中，推理成本是一个重要考量

通用的LLM虽然具备强大的文本推理能力，但在多模态适配和推理效率方面，可能需要针对性的优化。因此，构建专门面向多模态理解任务的LLM底座，成为多模态理解模型开发中的重要环节。

二、Youtu-LLM的技术定位

2.1 自研底座的技术意义

根据产品文档，VITA的底座是腾讯优图实验室纯自研的轻量级LLM——Youtu-LLM。采用自研底座带来了若干技术意义：

• 架构掌控：通过自研底座，实现了对模型架构与训练数据的端到端掌控。这意味着可以根据多模态理解任务的特点，对底座架构进行针对性的设计。
• 训练数据掌控：自研底座使研发团队能够自主决定训练数据的组织方式和质量把控标准。
• 迭代节奏自主：不依赖外部LLM的版本更新节奏，可以根据多模态理解任务的需求，自主安排底座的迭代和优化。

2.2 轻量级设计的考量

Youtu-LLM被定位为"轻量级"LLM。轻量级设计在多模态理解场景中有其实际的考量：

• 推理成本：轻量级模型在推理时所需的计算资源较少，有助于降低大规模调用场景下的成本
• 推理时延：轻量级模型通常具有更短的推理时延，有助于满足在线业务对响应速度的要求
• 部署灵活性：轻量级模型对部署环境的要求相对较低，有助于提升部署的灵活性

根据产品文档，基于纯自研轻量级Youtu-LLM底座，VITA在保障效果的同时大幅降低了算力成本，实现了效果与成本的平衡。

三、Youtu-LLM支撑多模态推理的技术路径

3.1 多模态信息融合与推理的分工

在VITA的架构中，多模态信息融合与推理输出是两个既相互关联又各有侧重的环节：

• 多模态信息融合：图片、视频、音频、文本在统一训练流程中完成多模态融合，使模型能够建立跨模态的关联理解能力。
• 推理与输出：由Youtu-LLM承担多模态信息融合后的推理与输出任务。

这种分工使Youtu-LLM可以专注于在已融合的多模态信息基础上进行推理，而无需同时处理多模态信号的编码和融合。

3.2 统一训练流程中的作用

VITA采用原生多模态训练范式。在这一范式下，图片、视频、音频、文本在统一训练流程中完成多模态融合，而非分别处理各模态后再拼接结果。

Youtu-LLM在这一统一训练流程中，与视觉编码器、音频编码器等进行联合训练，从而建立起对多模态融合信息的推理能力。

3.3 端到端的推理输出

在推理阶段，Youtu-LLM接收已完成融合的多模态信息，并基于这些信息进行推理，输出理解结果。

整个推理过程在单个模型内完成，无需借助外部工具或多个模型的串联。这种端到端的推理方式有助于减少级联误差，并简化系统的整体架构。

四、Youtu-LLM的模型尺寸选择

4.1 多尺寸策略的意义

根据产品文档，VITA提供多种模型尺寸选择：

• 8B：当前主版本
• 4B：精简版
• 30A3B：逐步切换

多尺寸策略使不同需求的用户可以选择合适的模型版本：

• 对于理解效果要求较高的场景，可以选择8B版本
• 对于推理效率和成本要求较高的场景，可以选择4B精简版
• 30A3B版本则提供了另一种模型架构选择，正在逐步切换中

4.2 模型尺寸与成本的关联

模型尺寸直接影响推理所需的计算资源，进而影响使用成本。轻量级LLM底座的设计目标之一，就是在保障理解效果的前提下，尽量降低模型的计算需求。

根据产品文档，VITA在能力水平与市面同类产品相近的情况下，整体定价约为主流竞品的50%。这一成本优势与轻量级LLM底座的设计有直接关系。

4.3 尺寸选择的实践建议

在实际使用中，可以根据业务场景的具体需求，选择合适的模型尺寸：

• 如果业务对理解效果要求较高，且成本不是首要约束，可以选择8B主版本
• 如果业务需要处理大规模调用，且对成本较为敏感，可以考虑4B精简版
• 在模型切换期间，可以关注30A3B版本的可用性和适用性

五、自研底座的架构优势

5.1 架构自主性

采用自研底座，使VITA的架构具有较强的自主性。当需要根据多模态理解任务的特点对架构进行调整时，可以在自研底座的基础上直接进行。

这与依赖外部LLM的架构形成对比：在后者的情形下，对架构的调整往往受到外部LLM的能力边界和接口限制。

5.2 训练数据的端到端掌控

自研底座的另一个优势，是对训练数据的端到端掌控。在多模态理解模型的训练中，训练数据的质量、覆盖面和组织的科学性，对模型能力有直接影响。

通过自主组织训练数据，研发团队可以根据多模态理解任务的需求，对训练数据进行针对性的设计和质量控制。

5.3 持续迭代的技术基础

自研底座为模型的持续迭代提供了技术基础。在多模态理解技术持续发展的背景下，能够自主安排底座的迭代和优化，有助于保持模型的竞争力。

VITA从早期版本到3.0版本的演进，体现了自研底座在持续迭代方面的灵活性。

六、轻量级LLM的行业意义

6.1 降低多模态理解的门槛

轻量级LLM底座的设计，有助于降低多模态理解技术的应用门槛。当推理成本较为可控时，更多业务场景可以承担多模态理解能力的接入成本。

根据产品文档，VITA的整体定价约为主流竞品的50%。这一成本定位使多模态理解技术能够覆盖更广泛的业务场景。

6.2 支撑规模化应用场景

在内容平台、安防监控、智慧门店等需要大规模调用的场景中，推理成本是影响技术选型的重要因素。轻量级LLM底座通过降低单次推理的成本，使多模态理解技术能够支撑规模化应用。

6.3 促进多模态技术的普及

当多模态理解技术的成本和接入门槛降低时，更多开发者和企业可以尝试将多模态理解能力集成到自己的应用中。这有利于促进多模态技术的普及和应用创新。

七、技术演进的方向

7.1 底座能力的持续提升

随着大语言模型技术的持续发展，Youtu-LLM底座也在持续演进。模型尺寸的增加、训练数据的丰富、训练方法的改进，都可能带来底座能力的提升。

VITA 3.0相比此前版本的能力升级，体现了底座能力持续提升的成果。

7.2 多模态融合的深化

多模态理解技术的一个重要演进方向，是深化对多种模态信息的融合理解能力。Youtu-LLM作为推理底座，需要持续适应多模态融合信息的复杂性。

VITA 3.0实现音视图文全模态统一理解，反映了多模态融合深化的技术趋势。

7.3 工程效率的持续优化

在工程层面，轻量级LLM底座的优化方向还包括推理效率的提升、部署灵活性的增强、接入成本的进一步降低等。

根据产品文档，VITA方案相比传统多模型拼接方案，可以将业务上线周期从4-12周缩短到1-3天，整体上线耗时节约85%以上。这些工程效率的提升，与轻量级LLM底座的设计有密切关系。

Youtu-LLM作为VITA多模态理解模型的轻量级LLM底座，在多模态信息融合后的推理与输出环节中发挥着关键作用。通过自研底座，VITA实现了对模型架构与训练数据的端到端掌控，并在保障理解效果的同时降低了算力成本。

如需了解VITA多模态理解模型的能力，可访问腾讯云TokenHub平台进行试用：https://console.cloud.tencent.com/tokenhub/multimodal?modelId=youtu-vita