![氛围图](https://developer.qcloudimg.com/http-save/8729876/df543ea23a88f477cad6beea7ba19974.jpg)

> 💡 **一句话总结**：把题目从文本挪进图片，主流多模态大模型几乎全军覆没（24 个组合全掉分，平均 17.8 分），而它们常常能正确"读"出题目却不照它作答——这篇论文用一套干净的控制实验证明"读视觉文本"和"把它当任务指令用"是两种能力，并给了一个 region 级训练法把这道鸿沟缩小，推理还不用 OCR。

## 🤔 先问一个可能戳到你的问题

你有没有过这种经历：让大模型看一张图——工单截图、学生拍的试卷、一张报表——它明明把图里的文字一字不差"读"出来了，答案却跑偏到离谱。

你的第一反应大概是：OCR 不行，换个更强的视觉模型。换完，还是错。再换，还是错。

然后你开始怀疑人生：它字都认对了，题怎么还是做不对？

这篇 2026 年 8 月挂在 arXiv 上的论文《When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning》给的答案有点反直觉：**问题大概率不在"读"，在"用"**。作者用一套相当干净的控制实验证明，对多模态大模型（MLLM）来说，"认出图片里印着的问题"和"把这个问题当成指令去执行"——是两种不同的能力，中间隔着一道被几乎所有评测忽略的鸿沟。

做截图问答、文档智能、RAG over 扫描件、让 agent 读 UI 的人，这篇值得花十分钟。

> **想自己动手试？**
> - 📄 论文：[arXiv 2608.04726](https://arxiv.org/abs/2608.04726)
> - 📄 全文 HTML：[arxiv.org/html/2608.04726v1](https://arxiv.org/html/2608.04726v1)
> - 💻 代码 / 📊 数据集：论文称计划释放标注、脚本与通过合规审查的图像，当前未见公开仓库，留意作者主页

## 🎯 这篇论文到底想解决什么问题？

先说一个被大多数 MLLM 评测默认的前提：问题放文本里，图片只当"证据"。

你回想一下自己跑过的多模态 benchmark——MATH-Vision、ChartQA、MathVista、MMMU——题目永远是用文本发给模型的，图片只负责提供图表、公式、场景。也就是说，"视觉文字（visual text）"在这套设定里永远是**被抽取的对象**（一个标签、一个数值、一段话），而不是**定义任务本身的指令**。

但现实世界不是这样。真实场景里，题目常常就印在图片上：一张拍照的试卷、一封截图邮件、一份扫描工单。这时候图片里的文字不是"证据"，是"指挥棒"——它决定模型该怎么用剩下的视觉信息、要算出什么。

问题来了：**当这道指挥棒从文本通道搬到图像通道，模型还使得动它吗？**

之前不是没人发现这个现象。VIM、VoQA、VISTA-Bench 都报告过"把指令视觉化会让模型变差"。但作者指出，这些观测到的"变差"是个大杂烩——里面混着画布变大、图片被 resize、渲染器出错、问题内容丢失、以及"语义通道本身切换"五个效应。光看一个精度下降，你根本分不清模型到底是"没读对题目"还是"读对了但没用上"。

这就是这篇论文要切的第一刀：**把"读"和"用"分开度量**。


*图说：同一道题、同一张图、同一个答案，唯一的变化是"问题"从文本（上）跑到了图片像素里（下）——这就是 VTS 干预，目的是让"通道切换"成为唯一扰动*

## 🛠️ 它的思路是什么？

作者的思路分两步：先用一个叫 **VTS（Visualized Task Semantics，视觉化任务语义）** 的干预**精准测出鸿沟**，再用 **prompt-region grounding** 这个训练法**缩小鸿沟**。

**第一步：VTS——把"通道切换"孤立出来。**

给定一道 benchmark 题（问题 $q$、图 $x$、答案 $a$），VTS 做的事很简单：用一个确定性的渲染器把问题 $q$ 画进图片上方的白板里，然后把原来文本通道的问题换成一个跟题目无关的固定提示——"Help me solve the problem"（论文里记作 $q_{\min}$）。源问题、视觉证据、答案三者原封不动地配对。

光这样还不够，作者还配了三个**控制组**来排除混淆——这一步是我觉得全文最漂亮的设计：

- **Canvas（空白画板）**：问题还在文本里，图片上方加一块空白白板——测"画布变大、图片被 resize"单独的影响
- **Duplicate（双通道）**：问题同时出现在文本和图片里——测"问题内容有没有丢"
- **Image-only（双通道都无）**：两个通道都把问题拿掉——测一个底线

结果非常干净：Canvas 偏离原始精度不超过 1.1 分，Duplicate 不超过 0.6 分，Image-only 直接崩塌。换句话说，**画布、resize、内容丢失都解释不了那道鸿沟，能解释的只剩"语义通道本身切换"**。这下"读≠用"才真正立住。

**第二步：prompt-region grounding——教模型"把图片里的问题当指令用"。**

知道了鸿沟在哪，怎么补？作者的答案是两个 region 级训练目标，名字都挺吓人，但原理可以用人话说清楚：

- **PVRD-SG（区域语义对齐）**：训练时模型手里有"问题区域的方框"（VTS 渲染器记录的，或真实数据用 GLM-OCR 划的）。它要求"图片里问题区域"的内部表示，必须接近"同一道题用纯文本输入时"的表示——而且文本侧那个表示是**冻结的、不跟着训练变**。一句话：**逼着图片里那块区域的"语义指纹"长得像文本题的"语义指纹"**。
- **PRMLP（区域掩码预测）**：把问题区域随机挡住一部分，要求模型从挡过的残图里还原出"干净问题截图"的表示。注意它还原的是**表示**，不是像素、也不是文字——**逼着那块区域在"部分看不清"时仍然稳定**。

这两条损失和普通的监督学习损失加一起训练，关键在于：**方框、干净截图这些辅助信息只在训练时用，推理时模型只收到一张图 + 一句固定提示，直接作答，不需要 OCR、不需要定位框**。


*图说：左边的 Paired Replay 让同一题以"文本版"和"图片版"两种视图出现、共享答案；中间 PVRD-SG 把图片问题区域连到冻结的文本表示；PRMLP 从遮蔽的问题区域重建干净截图的表示；右边 GSPO 是最后的强化学习精修。推理时这些辅助都不在*

为什么非要"区域级"，而不是整张图对齐？因为 VTS 合成图里有两类信息——问题定义任务、背景图提供证据。你要是拿整张图的表示去对齐，它会被图表、物体、示意图带偏，淹没掉问题本身的语义。只从"问题那块方框"里读表示，问的才是一个干净的问题：**这块印着指令的区域，表达的到底是不是同一道题？**

我觉得这个设计直觉很对——它做的事本质上是给模型装一个"局部对齐探针"，而且消融实验里有个很硬的证据支持它：把对齐目标**故意错配**到别的样本上（deranged target），PVRD-SG 掉 2.6 分。这说明增益不是"随便加个辅助 loss 就行"，而是真的在学"这块区域 = 这道题"的映射。

训练完还有一步 **GSPO**（Group Sequence Policy Optimization，一种强化学习算法）做精修——用"格式对不对 + 答案对不对"两个可验证的信号继续优化。这块不是本文主角，更像锦上添花。

## 📈 效果到底怎么样？

先看最扎心的那条发现。

作者在 6 个 MLLM（包括 Qwen3-VL 的 thinking 和 instruct 变体、InternVL3.5、DeepEyes）× 4 个 benchmark 上跑了 VTS，**24 个"模型×任务"组合，准确率全部下降，平均掉 17.8 分，最多的掉 28.0 分**。没有一个是例外。


*图说：每个模型的 VTS 条（右）都低于 Original 条（左），无一例外；作者刻意同时画两条，因为有的模型"差距小"只是因为两边都差*

而且有个反直觉的细节：**会"想"的模型反而栽得更狠**。Qwen3-VL-4B-Thinking 在 MATH-Vision 上原始精度 60.0，比 instruct 版的 51.6 强一截，但它把题目画进图后掉 27.4 分，instruct 版只掉 16.8。换句话说，思考能力越强，似乎越依赖"问题得在文本通道里"才能发力。

那"读≠用"到底怎么证明的？看这组诊断数字：base 模型能把视觉题目**精确转录** 87.6%（基本都认对了），但只**答对** 48.4%。更妙的是，把模型自己转录出来的文字再塞回文本通道，答案准确率还能再涨 7.7 分。**字都认对了，可这些字"作为像素"时对答案的指挥力，远不如"作为 token"时**——这就是鸿沟落在"读出来之后"的铁证。

上了 prompt-region grounding 之后呢？在 Qwen3-VL-4B 上、**控制了训练成本**的前提下：

- 四任务平均 VTS 准确率：58.0 → **66.3**（鸿沟从 11.2 缩到 4.0）
- 原始文本接口精度：69.1 → 70.3（没掉，还略涨）
- 等成本的普通 SFT 只有 58.0——**单纯多训 next-token 解释不了这个增益**

外推也站得住：在独立构建的 VISTA-Bench 上 +4.1 分，在 1000 张训练时没见过的真实截图/试卷/表单上 +7.9 分。

最后看一个最有"代入感"的案例——银行对账。从一笔 GH¢12,345 的余额出发算现金账未调整余额，对照模型（Qwen3VL-8B-Thinking）把图片里的 23,000 误读成 2,300、把 4,321 误读成 4,123，一个识别错误经过几步加减乘除，最终答案少了 GH¢20,898——恰好等于被误读的 20,700 加上漏掉的 198。


*图说：一个"读错一个数"如何被多步计算放大成两万多的偏差；红色是第一个识别错误及所有受它影响的后续数值——这是"视觉任务"里最典型的失败传播*

这个案例我觉得比任何精度数字都更能说明问题：真实世界的视觉任务常常是"一长串计算"，一个字认错，后面全跟着错。这也是为什么"读得对"在这类场景里性命攸关。

## 💡 为什么你要关心？

落到你自己的工作上，这篇论文至少有三处值得停下来想想：

- **如果你做多模态评测**：你跑的分很可能系统性高估了模型处理真实视觉任务的能力——因为你的题目都在文本通道里。把 VTS 这套"配对干预 + 三控制"搬到自家 benchmark 上跑一遍，你大概率会看到一个不太好看的数字。这是一种便宜又有说服力的"能力体检"。
- **如果你做截图问答 / 文档智能 / agent 读 UI**：那道 17.8 分的鸿沟就是你线上掉点的来源之一。这篇给的 region 级训练法是一个可借鉴的方向——尤其如果你手里能拿到"问题区域的框"（哪怕用现成 OCR 划一下），PVRD-SG 的"区域表示对齐到文本表示"是个低成本可试的 loss。
- **如果你只是个 MLLM 使用者**：下次遇到"模型明明认对了字却答错"，别急着换模型——先想想，你是不是把"指令"也塞进图片里了。把关键指令单独放到文本 prompt 里，可能比换模型管用。

换个角度看，这其实也说明：**我们给多模态模型出的题，一直都在"作弊"**。把题目放在文本里，等于偷偷帮模型省掉了一种能力。一旦把这层保护罩拿掉，模型真实水平才露出来。

## 🧊 理性看待

该泼的冷水也得泼。

第一，这道鸿沟是**被缩小，不是被消除**。四任务残差 gap 还有 4.0 分，ChartQA 6.8、MMMU 6.1——离"通道完全等价"还远。把它当"已解决"会吃亏。

第二，论文的"等成本"对照是用 **FLOPs 估算**做的（把 PVRD-SG / PRMLP 多出来的 forward / target / backward pass 都算进去，把普通 SFT 卡在 5% 误差内）。但 FLOPs 估算本身有任意性，PRMLP 每 2 步要多跑两次视觉编码——"等成本 SFT 步数更少"可能让 SFT 处于不利位置。作者诚实地写了"不主张更长 SFT 一定更差"，但读者心里要对这个 +8.4 分的绝对值打个折。

第三，真实世界那 1000 张测试图的标注，和训练用的 5 万多张真实图走的是**同一条标注管线**（GLM-OCR 提框 + GPT-5.4 标注 + Gemini 质检）。标注内部自洽（学生抽查 97.4% 一致）不等于"和真实正确答案一致"——若管线对某类版式系统性误标，训练和测试会共享同一个偏差，+7.9 的外推强度因此要打折。

最后，作者自己也很坦诚：注意力图和表示检索只能**描述**模型学了什么，没法**证明**唯一内部机制。换句话说，"区域表示对齐到文本语义"是设计意图，不是被坐实的机理——它和"区域级数据增强 + 一致性正则"的边界，论文用错配目标实验挡了一部分，但没完全分开。

所以一句话：**现象诊断几乎无懈可击，方法有效但要按作者的成本口径理解，机制解释留在描述层**。这种"诚实标注自己证据边界"的姿态，反而是我相信它核心结论的一个重要原因。

> 作者：lusca
> 版本：lusca-paper-blog v1.5.0
> 出处：https://github.com/yjmm10/lusca-skill/tree/main/skills/lusca-paper-blog



💡 一句话总结：把题目从文本挪进图片，主流多模态大模型几乎全军覆没（24 个组合全掉分，平均 17.8 分），而它们常常能正确"读"出题目却不照它作答——这篇论文用一套干净的控制实验证明"读视觉文本"和"把它当任务指令用"是两种能力，并给了一个 region 级训练法把这道鸿沟缩小，推理还不用 OCR。

Prompt-Region Grounding：为什么把题目画进图片，多模态大模型就集体"不会做题"了

人工智能

客户端

职业发展

论文通过VTS控制实验证明：多模态大模型“读”视觉文本与“用”其作为指令是两种能力，24个模型组合在题目入图后平均掉分17.8。提出region级训练法（PVRD-SG+PRMLP）将鸿沟从11.2缩至4.0，推理无需OCR，外推至真实截图提升7.9分。

强化学习

2026上云采购 | AI焕新·智启新局

documentocr

腾讯云BI特惠9.9元起！


文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

Prompt-Region Grounding：为什么把题目画进图片，多模态大模型就集体"不会做题"了-腾讯云开发者社区-腾讯云

Prompt-Region Grounding：为什么把题目画进图片，多模态大模型就集体"不会做题"了

Prompt-Region Grounding：为什么把题目画进图片，多模态大模型就集体"不会做题"了

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐