Aya Vision ：破解多语言多模态AI的“数据困境”与“遗忘魔咒”

唐国梁Tommy

发布于 2026-06-25 20:27:23

1320

文章被收录于专栏：TGLTommyAI前沿技术论文TGLTommyAI前沿技术论文

今天跟大家分享一篇来自 Cohere Labs 的最新研究——Aya Vision: Advancing the Frontier of Multilingual Multimodality。这篇论文可是直击了当前多语言多模态大模型领域的几大痛点，并提出了一系列非常亮眼的解决方案。

想象一下，未来的AI助手不仅能听懂中文、英文、法文，还能看懂你发给它的图片，甚至能理解图片里的梗或者图表里的数据，并且用你指定的语言流畅地和你交流——是不是很酷？但这背后其实挑战重重。Aya Vision这篇论文，正是朝着这个目标迈出了坚实的一步。

一、当AI遇上“多语言”和“多模态”的十字路口

首先，我们得明白，让AI同时处理“多语言”和“多模态”（比如图像、文本、语音等多种信息形式）是个啥概念。

多语言 (Multilingual)：顾名思义，就是AI能理解和生成不止一种语言。这对于打破语言壁垒，让AI技术惠及全球用户至关重要。
多模态 (Multimodal)：这意味着AI能处理和关联不同类型的信息。比如，看到一张图片（视觉模态），能用文字（语言模态）描述它，或者根据文字指令生成图片。

将这两者结合起来，构建多语言多模态大语言模型 (Multilingual MLLMs)，是AI领域一个非常热门且极具挑战性的前沿方向。

那么，难点在哪里呢？

论文开篇就指出了几个核心痛点：

1. 高质量数据的“稀缺危机”：构建强大的MLLM，离不开海量且优质的训练数据。但问题是，同时包含多种语言和多种模态（比如“中文图片描述对”）的指令微调数据非常少。很多时候，研究者们不得不依赖机器翻译来扩充数据，但这又容易引入“翻译腔”（translationese），让AI的回答听起来怪怪的，甚至曲解原意，丢失文化背景。

2. “灾难性遗忘”的魔咒：当我们给一个已经很擅长处理文本的语言模型（LLM）加入看图说话的能力时，它往往会“忘记”一部分原来掌握的文本技能。这就好比一个学霸，学了新科目之后，老科目的成绩反而下降了。这个问题在多语言场景下可能更加严重。

3. 缺乏靠谱的“多语种考官”：现有的AI评测基准，要么偏重英语，要么形式比较死板（比如做选择题），很难全面考察AI在真实、开放的多语言多模态交流中的“情商”和“智商”。

Aya Vision这篇论文，正是为了攻克这些难题而诞生的。它的研究动机非常明确：就是要打造出既能“说会道”（精通多语言文本），又能“察言观色”（理解多模态信息），并且学习效率还很高的AI模型。

二、核心内容：Aya Vision的“独门秘籍”

面对这些挑战，Aya Vision团队亮出了两大“杀手锏”：一套精巧的数据生产流水线和一种聪明的模型“合体”技术。

2.1 数据为王：打造高质量的多语言多模态“教材”

我们常说“garbage in, garbage out”（输入的是垃圾，输出的也是垃圾），可见数据质量对于AI模型的重要性。Aya Vision团队深谙此道，他们设计了一套非常完善的多语言多模态合成标注框架，主要包含以下几个步骤：

英文“教材”精加工：首先，他们收集了大量已有的英文多模态指令数据。但这些原始数据可能比较简单，或者表达不够自然。于是，他们请出了一位更强大的“AI导师”（一个更高级的语言模型），对这些原始数据进行“重述” (recaptioning)。通过精心设计的提示词，引导这位“导师”生成更详细、更符合人类偏好、上下文更丰富的回答。

“翻译 + 润色”组合拳 (Hybrid Translation Pipeline)：有了高质量的英文“教材”，下一步就是把它翻译成多种语言。但直接用机器翻译，很容易出现生硬的“翻译腔”。Aya Vision团队采用了一个两步走的策略： 第1步：初步翻译：先用一个不错的机器翻译模型（比如NLLB-3.3B）把英文数据翻译成22种目标语言。 第2步：AI编辑“润色”：然后，再请出另一位精通多语言的“AI编辑”（论文中用的是command-r-plus-08-2024模型），对机器翻译的结果进行后期编辑和“上下文感知改写”。这位“编辑”会参考原始英文文本和初步翻译，修正错误，消除翻译腔，让译文更自然、更地道。
严格的“质检”环节：无论是“重述”还是“翻译润色”，都可能引入新的错误。因此，Aya Vision团队还设置了严格的过滤机制：
- 关键词过滤：筛掉一些明显的错误，比如AI拒绝回答或者重复提示词里的内容。
- AI语义裁判：再用一个AI模型作为“裁判”，判断生成的内容是否和原始信息在语义上一致，有没有“胡说八道”。

通过这一整套流程，Aya Vision团队成功打造出了一份高质量、多样化的多语言多模态指令数据集，为训练出色的Aya Vision模型打下了坚实的基础。

2.2 模型“合体”：鱼与熊掌也可兼得

解决了数据问题，接下来就是如何让模型在学习新技能（看图）的同时，不忘记老本行（处理文字），尤其是在多语言环境下。Aya Vision团队提出了一种非常巧妙且高效的方法——跨模态模型合并。

这个思路有点像武侠小说里的“功力融合”。他们发现，当一个纯文本LLM经过多模态微调（学习看图）后，它的“文本内功”虽然有所减弱，但其模型参数（权重）和原始的纯文本LLM的参数并没有变得“面目全非”。它们在某种程度上仍然是“同源”的。

于是，他们想到了一个“训练无关 (training-free)”的办法：直接将多模态微调后的LLM的权重，与原始的、纯文本能力的LLM的权重，按照一定的比例进行线性插值合并。

至于模型的视觉部分（比如看图的“眼睛”——视觉编码器，和连接“眼睛”与“大脑”的连接器），则直接从多模态模型中继承过来。

这种方法的妙处在于：

高效：它不需要额外的训练，直接在模型权重层面操作，非常节省计算资源。
有效：实验表明，这种方法不仅能显著恢复纯文本能力（纯文本任务赢率提升高达50.2%），还能进一步提升多模态任务的性能（多模态任务赢率提升高达20.5%）！这有点像“1+1 > 2”的效果，非常惊艳。

可以说，Aya Vision团队通过这两大创新，从数据和模型两个层面，为构建更强大的多语言多模态AI模型铺平了道路。

三、方法解析：Aya Vision是如何“炼成”的？

了解了核心思路，我们再稍微深入一点，看看Aya Vision模型具体是怎么构建和训练的。

3.1 模型架构

Aya Vision模型采用的是当前比较主流的“后期融合 (late-fusion)”架构，主要由三部分组成：

视觉编码器 (Vision Encoder)：相当于模型的“眼睛”，负责从输入的图片中提取视觉特征。Aya Vision根据模型大小选择了不同的“眼睛”：
- Aya-Vision-8B用的是siglip2-so400m-patch14-384。
- Aya-Vision-32B用的是分辨率更高的siglip2-so400m-patch16-512。这些都是预训练好的、效果不错的视觉模型。
视觉-语言连接器 (Vision-Language Connector)：这是“眼睛”和“大脑”之间的桥梁，负责将视觉编码器输出的图像特征，转换成语言模型能够理解的格式（即映射到语言模型的输入嵌入空间）。它通常是一个小型的多层感知机（MLP）。Aya Vision的连接器有两层，并使用了SwiGLU激活函数。
- 一个小技巧——Pixel Shuffle：为了减少传递给语言模型的图像信息量（token数量），从而提高效率，连接器还用了一种叫做“Pixel Shuffle”的技术，对图像特征图进行降采样。可以理解为，把一张大图的精华信息浓缩一下再交给“大脑”。
- 图像如何表示？ 为了让语言模型知道哪些是图像信息，Aya Vision会用特殊的文本标记（比如TILE_1, TILE_2, ..., TILE_GLOBAL）来界定和指代图像的不同部分（比如图像被切分成的多个小块和整体缩略图）。这种方式还为未来可能的推理时动态调整图像块数量提供了便利。
大语言模型 ( LLM)：这是模型的“大脑”，负责理解文本指令和转换后的图像信息，并生成最终的回答。Aya Vision的LLM并不是从零开始训练的，而是基于已经具备很强多语言能力的预训练LLM进行初始化：
- Aya-Vision-8B基于Cohere的Command-R7B（一个经过多语言指令微调的7B模型）。
- Aya-Vision-32B基于Cohere的Aya-Expanse-32B（一个更强大的多语言32B模型）。这保证了Aya Vision模型天生就具有较好的多语言基础。

3.2 训练流程

Aya Vision模型的训练过程分为两个主要阶段：

阶段一：视觉-语言对齐

目标：让视觉-语言连接器学会如何将图像特征有效地“翻译”给语言模型。
做法：在这个阶段，只训练连接器的参数，而视觉编码器和语言模型的参数都保持“冻结”状态。这样做的好处是，可以用较大的学习率快速地让连接器学习对齐。
数据：主要使用了一个名为LLaVa-Pretrain的公开数据集，它包含大量的图像-文本对。同时，为了增强多语言能力，还混入了一小部分（约14%）由Aya Vision团队自己制作的多语言数据。
细节：8B模型训练了约9700步（1个epoch），32B模型因为连接器更大，需要更长时间对齐，训练了约19000步（2个epoch）。

阶段二：视觉指令微调

目标：让整个模型（主要是连接器和LLM部分）学会理解和执行各种复杂的视觉相关的指令，比如看图问答、描述图片细节、理解图表等。
做法：在这个阶段，视觉编码器的参数仍然保持冻结，但连接器和语言模型的参数都会参与训练。论文中提到了他们同时实验了全参数微调和LoRA（一种参数高效的微调方法）。
数据：使用的就是我们前面详细介绍过的、经过精心制作的Aya Vision多语言多模态SFT混合数据集（约1000万样本）。
细节：批处理大小为128，训练约31000次迭代，并且为了提高训练效率，他们使用了“序列打包 (sequence packing)”技术，将多个短样本打包成一个长序列（长度8192）进行训练。还启用了\mu P (micro-parameterization) 技术，这是一种可以帮助稳定大模型训练并更好地进行超参数迁移的技术。

通过这两个阶段的训练，Aya Vision模型逐渐掌握了强大的多语言多模态理解和生成能力。

四、实验结果与分析

Aya Vision团队对他们的模型进行了非常全面的评估，涵盖了多语言多模态偏好评估、学术基准测试以及纯文本能力测试。

1. 评估体系：全方位考察Aya Vision

多语言多模态偏好评估：这是衡量模型生成质量和与用户交互能力的关键。
- AyaVisionBench：这是论文的一大贡献，一个全新的、包含23种语言、9大类视觉语言任务的基准。它特别注重评估模型在开放式、生成式指令遵循方面的表现，更贴近真实应用。
- m-WildVision：将已有的英文WildVision基准（源自真实用户交互）翻译成多语言版本。
- xChatBench：一个已有的多语言多模态聊天基准。
- 裁判机制：由于是开放式生成，很难用简单的精确匹配来打分。因此，他们采用了VLM-as-a-Judge的方法，即用一个非常强大的多模态模型（claude-3-7-sonnet-20250219）作为“裁判”，对Aya Vision模型和其他对比模型的回答进行成对比较，判断哪个更好。
学术多语言多模态基准：这些通常是选择题或简答题形式的VQA（视觉问答）和推理任务，用于衡量模型在特定学术任务上的准确率。包括：xMMMU, MaXM, CVQA, MTVQA, Kaleidoscope等。
多语言纯文本评估：考察模型在引入视觉能力后，纯文本处理能力是否受到影响。
- 开放式评估 (m-ArenaHard)：类似于多模态偏好评估，但只针对纯文本的开放式问答，使用gpt-4o-2024-11-20作为“LLM裁判”。
- 任务特定基准：包括MGSM（数学推理）、Global MMLU-Lite（多语言多任务语言理解）、FLORES（机器翻译，评估从英语到其他语言的翻译能力）、IFEval（指令遵循能力，仅英语）。

2. 亮眼的成绩：Aya Vision实力如何？

Aya Vision模型的表现可以说是非常出色，在多个维度上都展现了领先水平：

Aya-Vision-8B：同级别最佳，越级挑战成功！
- 多模态偏好评估 (Figure 6)：在AyaVisionBench和m-WildVision上，Aya-Vision-8B对所有对比的同参数量级模型（如Pangea-7B, Molmo-7B-D, Qwen-2.5-VL-7B, Llama-3.2-11B-Vision, Pixtral-12B）都取得了显著的胜率优势。例如，在AyaVisionBench上，它对Pangea-7B的平均赢率高达70.3%；对Qwen-2.5-VL-7B的赢率也超过50%。
- 甚至超越了更大的模型：在xChat学术基准上 (Table 4)，Aya-Vision-8B (58.64分) 的表现甚至超过了参数量远大于它的Molmo-72B (45.43分) 和Llama-3.2-90B-Vision (51.12分)！

Aya-Vision-32B：性能天花板，效率惊人！
- 多模态偏好评估 (Figure 7)：Aya-Vision-32B的性能更是可以用“恐怖”来形容。它稳定地击败了参数量比它大两倍以上的模型！ 1️⃣对Llama-3.2-90B-Vision：在AyaVisionBench上赢率65.9%，在m-WildVision上赢率高达73.0%！ 2️⃣对Molmo-72B：在AyaVisionBench上赢率61.2%，在m-WildVision上赢率68.8%。 3️⃣对Qwen-2.5-VL-72B：在两个基准上平均赢率也超过了50%。

帕累托最优 (Figure 2)：在“性能-参数量”的二维图上，Aya Vision模型（尤其是32B版本）明显处于帕累托前沿，意味着在相同的参数量下，它的性能更好；或者说，达到相同的性能，它需要的参数量更少。
纯文本能力同样出色 (Figure 8)：在m-ArenaHard上，Aya-Vision-32B对Molmo-72B的赢率达到77.3%，对Qwen2.5VL-72B的赢率也有50.9%。

模型合并策略的巨大成功 (Figure 5 & 9)：
- 有效缓解灾难性遗忘：Figure 5清晰地显示，Aya-Vision-8B在经过模型合并后，其纯文本性能相比初始LLM仅下降了5.9%，而其他对比模型（Pangea-7B, Qwen2.5VL-7B, Molmo-7B）的下降幅度则大得多（16.4% ~ 44.1%）。这充分证明了模型合并策略的有效性。
- “1+1>2”的协同效应：Figure 9的消融实验表明，模型合并不仅能提升文本性能，对多模态性能也有积极影响。当纯文本LLM的合并权重从0增加到0.6（即\alpha从1.0降到0.4）时，文本赢率和多模态赢率都得到了提升。

数据改进是基石 (Figure 12)：
- 在Aya Vision 8B的各项改进中，SFT数据的改进带来的性能提升最为显著。仅通过使用论文提出的高质量SFT数据（相比于仅使用原始开源数据），模型在AyaVisionBench上对Pangea-7B的赢率就从40.9%提升到了58.1%（提升了17.2%）。这再次印证了“数据为王”的道理。