头部实验室正在像竞争模型一样竞争#智能体评测。OpenAI 停用了自家研究员发明的基准，审计发现训练语料里已经包含答案。Anthropic 把智能体评测方法论写成工程文档公开发布，设专职评测团队。腾讯把数据与评测合并进一个部门，由首席 AI 科学家统管。Meta 刷榜被抓，xAI 的自报分数被独立复测打掉 14 个百分点。

自 2025 年初"评测即护城河"（Eval as a Moat）的概念被提出以来，它被行业讨论了一整年，但关于"机制"的答案始终缺席。对模型公司而言，评测本身就是护城河——它保护了：内部的模型迭代速度，与外部的信任资产。而这条护城河能挖多深，拆开看是两个变量。

：评测是否有独立的架构位置、预算保障与汇报线？

：评测方法与分数，能否被外部第三方核查与复现？

建制 × 可复核，决定护城河的深度。

把评测写进架构与 KPI 的实验室，得到的是战略职能；将评测停留在小组工种的实验室，得到的不过是质检环节——即便分数再高也是如此。这一点在智能体（Agent）评测上被放大到了极致。从"模型评测"（单步输入输出）跨越到"系统评测"（模型 + 脚手架 + 动态环境 + 多步容错），一轮完整运行的成本高达数百至上千美元。正因为极贵、极难复核且与产品深度耦合，评测的差异才演变成战略差异：对象一旦从模型变成系统，评测就再不是纯粹的研究实践，而是一个严酷的组织问题。

智能体评测为什么变成组织问题

三个已核实的事实，把评测从测量问题推成组织问题。

智能体分数是系统分数，不是模型分数。

同一个模型 GAIA 裸跑 44.8%，带脚手架 74.6%，差 30 个百分点。Grok 4 自报 SWE-bench Verified 72%，独立平台用统一脚手架复测 58.6%。脚手架是产品团队搭的，不是模型自带的。分数一旦取决于谁搭了评测架子，评测就成了产品质量问题。评测与产品的耦合由被测对象的性质决定，任何实验室都绕不开。

可靠性结构放大了这个问题。单步成功率 95% 的智能体，10 步任务完整成功率约 60%，20 步任务约 36%（HORIZON，2026）。METR 的任务时间视界自 2019 年以来每约 7 个月翻倍；RE-Bench 显示 2 小时预算下智能体超人类专家约 4 倍，32 小时预算下人类反超约 2 倍。单步准确率说明不了长时程可靠性，只测短任务的评测会系统性高估生产就绪度。

旧基准结构性失效，评测变成一场持续的仗。

OpenAI 2026 年 2 月停用 SWE-bench Verified，距离它的研究员建这个基准刚两年。审计发现两层失效：138 道模型最常失败的题里 59.4% 测试有缺陷，把正确实现判错；所有被测前沿模型都能逐字复现标准答案补丁，训练语料里已经包含题目和答案。UC Berkeley 的 Agents' Last Exam 量出了后果：SWE-bench 拿 80% 的模型，ALE 最难档通过率 2.6%。

能被记住的基准不再是基准，是训练数据的回声。

静态基准死亡之后，评测变成持续的对抗性努力：私有题集、持续换题、主动审计。这种努力是组织级承诺，不是一次性项目。

动态评测又贵又吵，评测能力向付得起的实验室集中。

完整 SWE-bench 跑一轮 480 到 1100 美元。单次运行 pass@1 在批次间波动 2.2 到 6.0 个百分点，温度设为 0 也一样。每周一轮动态评测，小团队做不到。能持续做的实验室，是有预算、有组织承接它的实验室。评测正因为难做，才成为竞争资产。

Eval Driven Development（Eugene Yan，2023）和 criteria drift（Shankar 等，2024）出自泛 LLM 评测语境，早已证明评测标准无法在开发前完整前置、评测应驱动系统设计；这两个命题在智能体上被进一步放大。那些争论从未需要回答：谁来搭脚手架、谁来维护环境、谁来付 1100 美元一轮的账单。智能体评测继承了这些问题，并把答案逼进了组织架构。

姚顺雨《The Second Half》（2025 年 4 月）主张 AI 上半场是发明方法、爬 benchmark，下半场应转向定义问题、重新设计评测设置："evaluation becomes more important than training"。他的理由是智能体特有的：评测默认自动运行，现实里 #agent 全程与人交互；评测默认任务独立同分布，现实里工程师在同一仓库越做越熟。文章写于他仍在 OpenAI 时，五个月后他加入#腾讯，理论先于实践。2025 年 2 月的 "eval as moat" 概念把这场方法论讨论拽进了战略语境。

跨厂商对照之后，智能体评测能否成为战略能力，与组织形态精确重合。分数说明不了战略价值。三种组织形态反复出现。

腾讯把数据与评测合并为一级部门，AI Data 部的职责原文是"大模型数据及评测体系建设"，由首席 AI 科学家锚定。评测放在数据部门而非质检部门，发现短板与生产补短板数据在同一条 KPI 下，"评测提了问题、数据没改"的组织摩擦被结构消除，不靠协调。

字节的 #Seed（模型）与 Flow（产品）共享 2026 年度最高优先级目标"攀登 AI 高峰"，共建评测回路，火山引擎 B 端 MaaS 在顶层闭合商业化回路。字节是国内自建开源基准数量最多、透明度最高的实验室。

Anthropic 设专职 evals 团队拥有基础设施，产品侧贡献任务，eval-driven development 写进官方工程实践。公开方法论是全行业最清晰的：task、trial、grader、transcript 四个基本要素，硬性区分 pass@k（k 次尝试成功一次）与 pass^k（连续 k 次全成功），后者才对应生产可靠性。没有"数据+评测"的集中建制，但方法论与治理渗透最深，RSP 把评测与缩放治理绑定。

对照组两家什么都没有。Meta 的评测能力分散在各团队，Llama 4 刷榜争议由 LeCun 在离开 Meta 后的采访中亲口确认（2026 年 1 月）；xAI 没有公开评测方法论，自报分数与独立复测相差约 14 个百分点。两家都停留在团队职能层，都在可信度上付出了代价。

护城河从来不是分数，也不是技术，是建制 × 可复核。分数可以刷，技术可以买，建制与可复核抄不走。

十家实验室里，腾讯是唯一一家理论、建制、基准构造、反馈通路四层都有公开证据的。真正的连结者是姚顺雨：他曾立下理论路标，又成为腾讯首席 AI 科学家把理念落地。#姚顺雨 在 OpenAI 主导 Computer-Using Agent（Operator），加入腾讯三个月后官宣首席 AI 科学家，主导 Hy3（2026 年 4 月 preview、7 月正式版），7 月起统管合并后的基础模型部。

真实 prompt 分布替代 benchmark 题面分布。公开榜题目表述精确、上下文长、单轮为主；真实用户提问模糊、简短、不断追问。改写发生在采样层，决定训练数据构成，不只是报告数字。

CL-bench 要求每题所需新知识完全自包含于上下文。消融掉上下文，GPT-5.1 在 CL-bench 上通过率不到 1%；GPT-5.4 在 CL-bench Life 上从 19.3% 跌到 1.7%。靠记忆能答出的题按构造不合格。对比行业通行的"承诺不打榜"，这是结构性免疫，且可外部验证（arXiv:2604.27043）。

CL-bench 含 31607 条人工评分细则，平均每题 16.6 条，全部通过才算解决，推理轨迹不计分。对应产品语境：只有交付算数，"像不像"不构成判据。

官方评测工具列四条通道并列：自建题、最新考试、人工评测、产品众测。Hy3 正式版用 270 位专家基于真实工作的盲测。

公开的"真实评测"仍是专家仿真，CL-bench Life 单例手工制作约 13 小时，不含真实用户轨迹回放。基于真实用户轨迹的评测（元宝灰度、URM）存在，方法论未公开。

媒体转述与官方口径有一处出入。报道说 Hy3 preview 自建"50+ benchmark"；腾讯官方表述是 Hy3 在"50 多个业务中获得广泛反馈"。两个"50+"指称不同对象，一个是评测集，一个是业务。

与#元宝 团队深度合作，用 URM（User-Feedback Reward Model）对用户真实反馈建模，RLHF 做细粒度优化。存在性可证实，信号构成与去偏方法未公开。

CL-bench 论文主张把 rubric 转成训练信号、课程式难度递进。没有实施证据。它带着一个未回答的风险：rubric 同时是训练信号和测试标准，自建集会被过拟合，和其他基准一样。腾讯未公开自建评测的训练/测试隔离与污染控制，这是最严重的方法论缺口。

AI Data 部数据与评测同部门同汇报线，是评测驱动训练最结构化的落地形式。晚点 LatePost 转述姚顺雨内部讲话：混元此前过度追榜，把打榜语料放进训练数据导致污染，新指令是"不要打榜"。去打榜化是对一次具体污染事故的纠偏，重建数据体系是结果，不只是换 KPI。

姚顺雨称发布预览版模型的核心目的之一是获取真实世界用户反馈、修复榜单发现不了的底线问题。preview 是受控分布采集实验。

可追踪的指标链条存在：多轮指令遵循内部指标从 17.4% 降到 7.9%；上下文学习 CL-bench 从 19.2 升到 26.7，建 eval 在先、定路线在后的时间顺序可外部核查；工具调用鲁棒性跨脚手架标准差控制在 4 个百分点内。全部为腾讯自报，无第三方复测。

从产品网络到数据到泛化的链条，三环可证、一环未证。分布接入可证：Hy3 上线元宝、CodeBuddy、#WorkBuddy、ima、QQ、腾讯文档、腾讯乐享，单一模型团队挂载六类分布。反馈变信号存在，机制不透明。组织契约半公开：官网 Co-design 栏目署名产品侧负责人（co-design 一词由汤道生在 2026 年 6 月 5 日对谈中抛出，姚顺雨接述其中评测环节），姚顺雨自述派后训练最强骨干帮元宝做后训练，可识别的资源让渡。能力迁移与"网络体系"只是主张：姚顺雨称与元宝协同的能力可迁移到 ima 和 WorkBuddy、数据跨产品泛化，没有迁移度量、没有消融实验、数据回流路径与合规边界零披露。他的原话："怎么把产品数据用好，怎么把回流，怎么把 Eval 做好，有很多细节，我就不赘述"。这句拒绝披露是可核查事实，也是本案例最大的证据缺口。

分层判定：方法论从理念到可复现构造，跑通（证据强）；建制化，跑通（中强）；eval 到训练指标反馈环，局部跑通（中，全自报）；产品反馈到奖励信号，存在但机制不透明（中偏弱）；跨产品能力泛化，理念加个案（弱）。

腾讯处在理念与原型之间。制度已立、局部回路在跑、全链路未证。五个缺口：自建评测的训练/测试隔离未公开；内部指标的样本量与口径未公开；跨产品数据回流与合规边界零披露；能力迁移无量化；CL-bench 分数在 preview 自报与正式版二手报道间不一致，官方未解释。

十家实验室放进"建制 × 可复核"框架，落在四个象限。

腾讯与 Anthropic 走得最远，路径相反：集中建制加产品网络，对比方法论渗透加分布式治理。字节凭共享 Seed×Flow OKR 与开源基准外显，与腾讯并列国内第一梯队；腾讯靠内部超级应用产品网络，字节靠开源基准加 B 端商业化。

OpenAI 把 eval 升为"企业 AI 能力"范式（frontier 与 contextual 双层、GDPval 生态化），跑 Specify→Measure→Improve 循环，配四家外部评测方（METR、Apollo、英国 AISI、美国 CAISI），并完成了行业唯一一次制度化弃用：停用自家发明的 SWE-bench Verified、推荐替代品。内部评测归属不透明，战略重心向外，打包能力卖给客户。Google 的评测工具最强（Vertex Eval、ADK 的 in-order match/exact match 等轨迹指标、Gemini Evals Playbook），透明度习惯最好：Gemini 3.1 Pro 文档披露完整口径，还修正了官方 SWE-bench Verified harness 的 3 个 bug，给自家成绩加了 0.6%。评测仍是云平台功能，不是组织级职能。智谱的 ZClawBench 是质量最高的真实场景自建基准之一，取材 OpenClaw 大量真实用例、题库与轨迹公开，AutoGLM 以任务完成度作 RL 奖励；没有披露独立评测部门。Kimi 内部基准群工程扎实，取材内部工程需求与线上事故，对外证明靠第三方匿名榜，无建制证据。

四个工程能力，零个战略职能。

林俊旸"模型即产品"是全行业对这句理念最完整的表述。2026 年 3 月前，Qwen 与千问 APP 分属不同事业群、无共享 OKR、无商业化 KPI，评测从未成为跨团队能力。重组方向正确，链条仍待证。

Meta 是悖论。GAIA2/ARE 动态环境平台是技术前沿：800 个真人撰写场景、写操作验证器与人类标注一致率 0.98、评测信号直接喂 RLVR 训练（arXiv:2509.17158）。Llama 4 发布侧制造了 2025 年最大的刷榜争议。随后 Muse Spark 的评测觉察率（模型识别出自己正在被测的概率）公开基准上 19.8%、内部评测 2.0%，差约 10 倍，Apollo Research 独立确认。技术前沿与评测失范同厂并存，恰好演示了建制有和没有的区别。xAI 是第二个样本：自报与独立复测相差约 14 个百分点，加上 Business Insider 披露的 WebDev Arena 刷榜。没有公开方法论的自报数字直接消耗信任。

DeepSeek 没有公开评测装置，模型层曾被 SuperCLUE 指出训练数据与评测数据重叠。Qwen 与 Kimi 的自报成绩对脚手架依赖明显，同一模型在不同评测设置下差 10 分以上。国内第三方评测（SuperCLUE、OpenCompass、FlagEval）全部停留在外部被评角色，没有一家与实验室共建 agent 基准，这是国内评测口径统一的结构性限制。

引用的每个内部指标都是自报，没有一个被第三方复测。腾讯的 17.4% 到 7.9%、19.2 到 26.7、4 个百分点内都算。关键方法未公开：URM 信号构成、训练/测试隔离、数据回流路径。外部评测方的合作机制（METR 不收报酬、实验室提供算力）只有 OpenAI 一家在系统卡片层面完整披露，其余实验室的外部安排不可见。

"建制"的判断依据组织架构公告、官方工程博客、可核查的对谈实录。对没有公开建制证据的实验室，结论是"无证据"，不等于"不存在"。置信度：一手官方与学术来源为高，官方但间接或第三方转述为中，单一非权威来源不进论据链。

可复核有一个未解决的问题：Apollo Research 以评测觉察度过高为由拒绝对 Anthropic Opus 4.6 出具正式对齐评估，而 Anthropic 是跨厂对比里方法论最透明的实验室。模型知道自己在被评测并调整行为，这个问题没有实验室解决过。

两样东西让评测成为护城河，也正是开头的两个变量：

。建制，把评测从团队职能变成组织能力，决定评测发现的问题能不能变成训练数据的修复动作；可复核，把评测从内部叙事变成外部信任资产，决定分数有没有人信。没有建制的评测技术（Meta）不会自动升级，没有可复核的评测分数（xAI）不会复利。

从业者的最小可用配置由此收敛成三件：私有任务集，从源头切断训练记忆；细则化判分，确定性判分器优先、LLM 评委兜底；多跑统计，报告均值与方差，单次运行 2 到 3 个百分点的提升与噪声不可区分。这三件把评测从一次性考试变成可累积、可复核、可追责的资产。技术先进与否不是决定因素，先建的人复利更早。

格局未定。腾讯全链路未证，Anthropic 缺集中建制，字节 B 端回路刚闭合，OpenAI 内部归属是黑箱。这个判断的失效条件：某家厂商把外部评测合作做成行业强制标准，或 AI Act 类监管把评测审计变成市场准入要求，建制的相对优势会被合规拉平。在那之前，

评测是少数实验室真正拥有的战略能力，其余实验室拥有的是分数。

按对论证的承重程度分四组。核心证据均为一手公开可复核来源；中文二手转述已标注，仅用于组织信息与发言佐证。

核心证据（承重论断，一手可复核）

厂商佐证（部分为中文转述，中置信度）

置信度说明：高=一手官方/权威媒体可复核；中=官方但间接或第三方转述。所有厂商内部指标均按自报口径处理。

评测凭什么成为模型护城河：Agent评测的跨厂机制分析

人工智能

架构设计

新闻资讯

头部实验室正将智能体评测视为战略护城河，核心变量为“建制×可复核”。腾讯集中数据与评测部门，Anthropic公开方法论，Meta与xAI因缺乏建制或可复核性受损。智能体评测因高成本、系统耦合及旧基准失效，已从技术问题演变为组织问题，决定模型迭代速度与外部信任资产。

腾讯文档

智能体

WorkBuddy 

CodeBuddy

DeepSeek

OpenClaw

Agent

MaaS

2026上云采购 | AI焕新·智启新局

lexiang

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

评测凭什么成为模型护城河：Agent评测的跨厂机制分析

评测凭什么成为模型护城河：Agent评测的跨厂机制分析

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐