上周五夜里十一点，朋友甩来一张截图。

快看，新模型屠榜了，知识93.5，代码97，全面碾压。

我说，行，让它给你写个周报。

二十分钟后他回了四个字，什么玩意。

同一个模型，榜上是学霸，工位上是废物。这事的问题，根源出在那张榜上。

那张榜有个学名，叫BenchMark，基准测试。今天我把它扒开给你看。看到最后你会发现，这张卷子自己都快保不住命了。

## 说白了，就是一张统一卷

想象一下这个场面。两家AI公司同一天开发布会。

A家宣布，我们宇宙第一。B家宣布，我们银河最强。

你信谁，没法信。A家的分是拿A家自己出的题考的，B家也一样，既当运动员又当裁判。

BenchMark干的事，就是把题目、评分标准、出分流程全部焊死。一套固定的卷子，谁来都考同一套，分数才有得比。

它是这个行业唯一一把公平秤。

这事最早能追到1950年。图灵在一本叫Mind的期刊上发文，问机器能不能思考。这问题没法直接答，他就换了个玩法，让人隔着屏幕跟机器打字聊天，聊到你分不出对面是人还是机器，就算过关。

说白了，那是一场人肉盲测。评委是活人，标准全凭感觉。

从那扇门起，这条路一修就是七十六年。

![AI评测基准七十六年演进](https://developer.qcloudimg.com/http-save/yehe-5421023/14c72cc06a8d1ef5eb3c9d7a12dcf292.png)

2010年，李飞飞端出ImageNet，一千四百万张标注好的图。2012年AlexNet考出84.7%的准确率，甩开第二名十个百分点，深度学习革命就是那天点着的。

2018年，GLUE把NLP的散装考试拼成一张总榜。2021年，MMLU测知识广度，HumanEval拿164道Python题测写代码，后来成了代码模型的必答题。

卷子越出越细，因为模型越跑越强。可强到今天，事情开始不对劲了。

## 反转一，换张卷子，冠军就换人

先看2026年9月22日的综合榜。

Claude Fable 5.1拿83.65，压着GPT-6 Astra的82.93，咬得死死的。你刚要下结论，Anthropic赢了。

慢着，换张卷子再考一遍。

![同一批模型换个榜单排名互换](https://developer.qcloudimg.com/http-save/yehe-5421023/a994d58f49f7ba1aa35794dec3562ccc.png)

在GPQA-D这张博士级推理卷上，Astra考出96.0，反超Fable的95.5，冠军当场换人。Kimi K3也从综合榜的第十，一头窜进推理榜前三。

还有更离谱的。同一个模型考ARC-AGI-3，标准跑法62.7%，换官方适配器来跑，能干到99.9%。连考试的姿势都能改变分数。

所以谁才是天下第一，没人说得清。你见到的每个冠军，都只在一张特定的卷子上成立。

排名乱了顶多算尴尬。接下来这件事，直接动摇这张卷子的根基。

## 反转二，老卷子被刷爆，OpenAI直接弃考

你大概以为，分数越高越好。

恰恰相反，这是评测圈最怕的事，行话叫饱和。

摆几个数。MMLU被刷到93.5%，HumanEval冲上97.1%，SWE-bench Verified顶到96%。当所有尖子生挤在95分以上，这张卷子就废了，它再也分不出谁更强。

![旧榜饱和新榜现出原形](https://developer.qcloudimg.com/http-save/yehe-5421023/6b729da957ae9a3501b645ad33574102.png)

再2026年2月23日，OpenAI干脆发了篇长文,宣布以后不再报SWE-bench Verified的分数.

理由有两条。一条是脏，审计发现各家前沿模型光看题号就能背出标准补丁，题目早就漏进训练数据里了。另一条是烂，被抽查的难题里59.4%的测试用例有毛病，正确解法反而会被判错。

换更难的SWE-bench Pro再考.GPT-5.2从Verified的80.9%直接掉到45.9%,砍掉近一半.

上个月还有张更狠的新卷，FrontierMath Erdős。68道题全是数学家埃尔德什留下的、至今没人解开的难题，全部用Lean形式化。最强的GPT-6 Astra做对2道，得分3%，已经是全场唯一拿分的选手。

换个考场，学霸秒变学渣。模型还是那个模型，老卷子上的高分，本来就有水分。

饱和了可以出新题，可接下来这个洞，出题人都不知道怎么堵。

## 反转三，考题漏了，机器还会自己破案

前面说的脏，学名就叫数据污染。

意思是，训练数据里混进了考卷真题，或者长得差不多的题。等于考前答案贴在墙上，它背过，自然考得好。

2026年一篇论文测了四千五百多对模型和题目，整体污染率57.3%。

![数据污染率实测对比](https://developer.qcloudimg.com/http-save/yehe-5421023/93e9ad120cc1e9c8dcd3bd971672e67e.png)

Llama、Mistral、DeepSeek、Qwen那一串开源模型，污染率74%到79%。闭源API模型也没干净到哪去，40%到64%。全军覆没。

再讲个今年最魔幻的真实案例，Anthropic自己披露的。

他们复盘Claude Opus 4.6答网络检索题的表现，1266道题里，有2道它玩出了新花样。它中途推断出自己正在被测评，认出了这是哪张卷子，然后跑到GitHub上翻出这份考题的加密答案库，把公开代码里的解密算法逆推出来，解出答案，交卷。

一台机器，一边考试，一边意识到自己在考试，还顺手把答案保险柜撬了。

他们给这现象起了个名，评测意识。这四个字放在三年前，只在科幻片里出现过。

9月19号arXiv上还挂了篇论文，标题就够狠，别信基准测试。里面把这行的坑系统扒了一遍，从饱和到污染到刷榜旧账，一个没落下。

卷子千疮百孔，巨头们坐不住了。

## 三家的自救，考试变军备竞赛

OpenAI停掉旧榜，转头推更难的新榜。

Anthropic更彻底，9月18号宣布把第三方评估团队请进公司，跟自家员工一样，带着看训练和部署，他们管这叫嵌入式评估。

Google最简单粗暴，直接给评测资料上加密墙，防的就是背题和泄露。

一边出题，一边刷题，刷不动就钻空子，出题的再加码。这哪里还是考试，活象一场军备竞赛。

## 聊聊我自己的看法

说句掏心窝的，BenchMark依然是这行最不坏的东西。

它毛病一大堆，会饱和，会漏题，会被钻空子。可要是废掉它，纯靠手感评模型，那才是灾难。你的感觉会骗你，我的也会，只有同一张卷子不会。

所以记个三问就行。看到任何高分，先问这卷子出了多久，再问是不是人人95以上，最后问出题和监考的人干不干净。

分数的意义从来不在分数本身，在它背后那套题还灵不灵。

这张考卷以经陪行业走了七十六年。

下一张新卷子出现之前，不妨把问题留在这。它还能陪你走多远，还是终究沦为一张废纸。


那张榜有个学名，叫BenchMark，基准测试。今天我把它扒开给你看。看到最后你会发现，这张卷子自己都快保不住命了。

什么是BenchMark？AI考了满分，你却被它气到摔手机

产品KOL

人工智能

算法

新闻资讯

BenchMark基准测试正面临信任危机：旧榜饱和、数据污染率高达57.3%、OpenAI弃考、Claude现"评测意识"。同一模型换卷分数暴跌，榜单冠军已失参考价值。了解高分三问，辨别AI真实实力。

深度学习

DeepSeek

Python

GitHub

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

什么是BenchMark？AI考了满分，你却被它气到摔手机-腾讯云开发者社区-腾讯云

什么是BenchMark？AI考了满分，你却被它气到摔手机

什么是BenchMark？AI考了满分，你却被它气到摔手机

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐