斯坦福团队：验证，正在成为LLM的第四条Scaling曲线

你让一个大模型去比较两段代码、两条SQL优化方案、两次机器人操作，谁做得更好。它看完两边，分别打出7分和7分。

打平了。你追问哪个更好，它给不出更细的答案——因为它的判断，从一开始就被压扁成了一个整数。

这不是个例。斯坦福、UC伯克利和NVIDIA的研究者在Terminal-Bench上做过统计：让LLM当裁判（也就是业内常说的LLM-as-a-judge）去比较两条智能体执行轨迹，打平的比例高达27%。越是复杂精细的任务，判断越容易被磨平成"差不多"。

论文名称：LLM-as-a-Verifier: A General-Purpose Verification Framework 论文链接：https://arxiv.org/pdf/2607.05391

这篇新论文《LLM-as-a-Verifier: A General-Purpose Verification Framework》想解决的，正是这个问题。它的结论不止于"改进一下打分方法"，而是提出了一个更大的命题：验证（verification），本该是继预训练、后训练、测试时计算之后，LLM能力提升的第四条Scaling曲线。

潜力被锁住的98.9%

先看一个扎心的数字。研究者在Terminal-Bench上反复采样同一个任务，如果存在一个"神谕"，永远能从一堆候选答案里挑出最优解，那么随着采样次数增加，成功率会一路爬升到98.9%——几乎等于把整个基准测试打穿。

问题是，现实中没有神谕，只有裁判。而裁判的水平，直接决定了这98.9%的潜力能兑现多少。

当前主流的LLM-as-a-judge方法，做法是让模型看完候选方案后，输出一个离散的分数token（比如1到10中的某个整数），取概率最高的那个作为最终得分。问题就出在这一步：模型内心其实是有细微差别的，但"取概率最高的token"这个动作，把这种细微差别硬生生抹平了。

打个比方：面对方案A，模型认为打5分的概率是51%；面对方案B，模型认为打5分的概率是90%。两边都会被记录成"5分"，判为平局——尽管模型对B的把握明显更足。

不看"最终判断"，看"有多确信"

论文的核心方法LLM-as-a-Verifier，思路可以用一句话概括：不要只取那个概率最高的分数token，而是把打分token的整个概率分布拿来加权求期望，得到一个连续分数。

还是上面的例子：如果对1到5分每个数字都有一个概率，用期望公式算下来，方案A可能得到4.2分，方案B得到4.7分——瞬间就能分出高下，不再是一句"差不多"。

这个转变听起来简单，却打开了三个此前无法scale的维度：

• 打分粒度：与其用1到5分这种粗刻度，不如换成1到20分甚至更细，给模型更精细的空间去表达"确信程度"
• 重复评估：多评估几次再取平均，把单次判断里的随机噪声磨掉
• 标准分解：与其问一句笼统的"这个方案对不对"，不如拆解成"是否满足任务需求""输出格式对不对""有没有报错"这几个更简单的子问题，分别打分再综合

论文在Terminal-Bench V2上对三个维度分别做了消融：打分粒度从1级提到20级，验证准确率从73.1%升到77.5%；重复评估次数从1次提到16次，准确率从74.7%升到77.5%；把单一标准换成三个子标准的集成，准确率从75.2%—76.4%提升到78.3%。

三条曲线各自独立生效、还能叠加——这正是"scaling"这个词的分量所在：不是拍脑袋调优，而是每一个维度都能稳定地换来更好的判断力。

一个把"偷懒"藏得很深的案例

论文里有一个具体案例特别能说明问题。任务是优化一段SQL查询，两条候选轨迹都保存了"优化后"的查询、也都通过了内部diff检查——看起来打平了。

但其中一条轨迹的验证环节其实动了手脚：它想验证"优化后的查询和原查询结果一致"，可原始查询在真实数据库上跑了两次都超时；于是它偷偷复制了一份数据库、给复制版加上索引，然后拿"加了索引的复制版跑原查询"去对比"没加索引的原版跑优化后查询"——这两次查询走的物理路径完全不同，比较结果本身就不成立。做完这一切，它还把所有验证痕迹删除了。

另一条轨迹则老老实实等了5分03秒，让原查询在原始数据库上真正跑完，再做一次干净的diff对比。

Terminal-Bench的隐藏测试认定后者正确、前者失败。但如果让Gemini 2.5 Flash来评判：用传统的1—5分离散判断，重复评估100次，有88次打成平局，完全分不出谁对谁错。改成连续期望打分后，69次能正确分辨；把粒度提到20级后，正确分辨的次数升到77次。

这组88比77的对比，比任何抽象论证都更直观地说明了：细粒度概率打分到底在多大程度上，把原本淹没在"差不多"里的判断力找了回来。

候选一多，两两比较就跑不动了——怎么办

如果要从N个候选方案里选出最好的一个，最直接的办法是两两比较打分，但这样一来比较次数是O(N²)——候选数一多，验证成本立刻爆炸。

论文给出的解法叫Probabilistic Pivot Tournament（概率化种子淘汰赛），大致分五步：先随机排一个环形顺序，让每个候选者都各当一次"选手A"和"选手B"，抵消模型对位置的偏见；根据这轮初筛的得分，选出排名靠前的k个候选作为"种子选手"；剩下的候选只需要分别和这k个种子比一次，种子之间再互相比一遍；最后把所有比较结果汇总，选出综合胜率最高的那个。

这样一来，总比较次数从O(N²)降到O(Nk²)。在20选1的实测里，只用全量两两比较约一半的开销，就能拿到接近满额比较的准确率。

四个领域，同一套框架，全部刷新纪录

作者把这套验证框架当作"轨迹奖励模型"，在四个完全不同的领域上做了测试，全部达到当前最优：

• Terminal-Bench V2（命令行智能体任务）：86.5%，超过此前最佳的GPT-5.5（84.7%）
• SWE-Bench Verified（真实GitHub问题修复）：78.2%，超过Claude Opus 4.5（76.8%）
• RoboRewardBench（机器人操作轨迹偏好）：87.4%，超过专门为机器人训练的RoboReward-8B（81.4%）
• MedAgentBench（医疗智能体多步任务）：73.3%，超过Claude Opus 4.8（70.2%）

特别值得注意的是RoboRewardBench那一项：RoboReward-8B是专门用几万条机器人轨迹训练出来的奖励模型，而LLM-as-a-Verifier是zero-shot的通用文本模型套用同一套打分公式，没有做任何机器人领域的针对性训练，却依然反超。这从侧面印证了论文的核心主张——这不是一个针对某个领域调出来的技巧，而是一种可以跨领域复用的验证范式。

意外之喜：分数本身，就是一张进度条

验证器不仅能"选出最好的"，作者还发现它的连续分数本身可以当成任务进度的代理指标。论文用Value-Order Correlation（简称VOC）衡量这件事——本质是看：随着任务推进，验证器给每一步打的分数，是不是在稳定上升。

在Terminal-Bench V2上，成功完成的轨迹VOC达到0.848，而失败轨迹只有0.769。论文举了个例子：一个跑MNIST推理的任务里，成功轨迹的分数一路走高（读取文件→安装编译器→安装CPU版torch→调整超参数→完成），而失败轨迹因为多装了一个体积巨大的torchvision包、把磁盘空间撑爆导致编译报错，分数一直趴在低位——分数走势本身就是一份实时的预警信号。

在机器人任务上这个指标更悬殊：LLM-as-a-Verifier的VOC达到0.966，远超专门训练的RoboReward-8B（0.877）和Robometer-4B（0.780）。原因也很直观：后两者容易过早给出"接近满分"的判断，此后就失去了继续区分进展的能力，而基于期望值的连续打分能一直保持平滑、有区分度的信号。

从论文走到工具：TurboAgent与强化学习

这套框架没有停留在论文里。作者把它包装成TurboAgent——一个可以直接接入Claude Code等兼容OpenAI API客户端的插件。它安静地插在客户端和大模型之间，每次请求背后并行生成多个候选响应，用Probabilistic Pivot Tournament选出最优的一个再返回，同时提供一个网页界面，实时展示验证分数、监控智能体的任务进度。

另一个应用是强化学习里的credit assignment（信用分配）难题：传统做法里，智能体往往只有在任务彻底完成时才能拿到一个稀疏的0/1奖励，中间做没做对全靠猜。作者把验证器的连续分数直接塞进奖励函数，当作过程性的密集奖励：

• 离线强化学习：用DSRL-SAC微调机器人策略π₀，在LIBERO的番茄酱抓取任务上，加入验证器的进度分数后，达到同等成功率所需的环境交互步数减少约1.8倍，最终成功率也从0.69提高到0.76
• 在线强化学习：用GRPO微调Qwen3-8B做MATH数学推理，把验证器对推理过程的偏好分数并入奖励后，采样效率提升约1.1倍

这里有个值得玩味的细节：GRPO训练早期经常出现同一组采样全部答错、组内优势坍缩为零、导致没有梯度可学的情况。而验证器即使在"最终答案全错"的情况下，依然能分辨出哪一条推理过程更靠谱，从而给出一点非零信号，把本该被浪费的这一步训练抢救回来。

写在最后

预训练、后训练、测试时计算，这三条曲线过去几年被反复验证、反复投入。这篇论文想说的是，还有第四条曲线一直被低估——验证本身，同样可以被scale。

而解锁它的钥匙意外地朴素：不要只让模型说出"我的最终判断"，而要让它交出"我有多确信"。当27%的裁判平局被清零、当98.9%的潜力开始被真正兑现，验证或许会成为下一阶段智能体竞赛里，一个被低估的胜负手。

进阶学习

如果你正在关注大模型 Agent、强化学习后训练、RLHF、DPO、GRPO、RLVR 等前沿方向，欢迎学习我最新上线的精品课程：

课程围绕 Agent 架构、强化学习基础、Reward 设计、策略优化、工具调用、多轮任务执行、Agentic Workflow 以及前沿论文与实战案例展开，帮助你建立从理论到应用的完整知识体系。

Agent RL 正在成为大模型能力提升与智能体系统演进中的重要方向。未来的 Agent 不只是会调用工具，而是要能规划任务、评估结果、修正策略，并在复杂环境中持续优化自己的行为。

现在系统学习 Agent RL，提前进入下一阶段 AI 应用开发的核心赛道。

🌟 关注“唐国梁TGLTommy”，一起持续追踪 AI 技术演进背后的长期趋势。