密室逃脱，一个考验观察、推理的极限游戏。但如果玩家不再是人类，而是一群最顶尖的AI呢？

这次，AGI-Eval评测社区联合复旦大学，在刚发布的论文《AgentEscapeBench》里，发起了一项极限实验，将16个热门的AI大模型，包括GPT、Claude、Gemini等，以“玩家”的身份扔进270个精心设计的密室里。

这个“密室”并非某个特定的业务场景，而是一个对所有AI都相对陌生的环境。

其目的只有一个：剥离模型对特定套路的拟合，通过这种无法依赖先验知识和固定模式的环境，去真实地评估Agent的长程推理、逻辑规划与执行能力。

看看谁会成为真正的“密室逃脱大师”？

为了让AI能真正地“沉浸式”解谜，我们为它们量身定制了一套名为 

的评测框架。简单来说，我们把AI当成一个真实的“玩家”扔进密室。整个游戏过程，就像一场多轮对话。

“游戏规则手册”（System Prompt）

，告诉它能做什么、怎么做。然后，AI会收到密室的初始环境描述。

接下来，考验就开始了。AI需要在一个统一的上下文中，像一个真正的玩家一样，同时处理三种核心动作：

没有为AI设计额外的记忆系统。

AI的“记忆”完全依赖于其自身的上下文理解能力，这能更真实地反映其长程记忆和状态追踪的短板。

每一轮，AI做出决策，环境给出反馈。最终，要么成功逃脱，要么行动次数耗尽，挑战失败。

有了这个系统，我们就可以开始观察每个AI玩家在密室中的真实表现了。

每一个密室谜题，都源自于一条精密的

图2：六阶段自动化密室生成流水线

简单来说，这条流水线会从一个包含32种真实工具的模板库中，自动生成一个具有特定逻辑难度的

。然后，LM给DAG的源头节点生成初始参数，然后按照拓扑顺序执行每个节点的计算逻辑逐步得到整个DAG每个节点的输入值、输出值，最后使用

生成风格各异的“剧本”（如赛博朋克、侦探悬疑等）。

这套流程确保了每一个密室都是全新的、逻辑自洽且难度可控的。

此外，所有题目均经过人类玩家测试，保证了其可解性。

谁是真正的“密室逃脱大师”？ 

在270场难度从5级到25级不等的“密室逃脱”中，16位AI玩家展现出了截然不同的游戏风格和能力上限。

首先，我们来看总成绩单。表1清晰地显示，随着密室复杂度（DAG节点数）的增加，所有AI玩家的成功率都开始下降。但仔细看，每个模型的“OUT”和“玩法”都大有文章。

表1：AI玩家与人类在不同难度下的密室逃脱成功率（SR %）对比

接下来，是我们为每个AI玩家撰写的“玩家档案”看看谁才是真正的密逃大师？

 Claude-Opus-4.6：“沉着稳健”的逻辑大师

Claude在此次挑战中，最像一个心态沉稳的“老手”。它的策略不是追求单步的炫酷操作，而是展现出一种步步为营的扎实感。它在密室中很少做无效尝试，每一步都严格遵循已发现的线索。这让它的成功率曲线最为平滑，即便在最难的25级密室中，依然保持了60%的通关率，展现出强大的逻辑纪律性。

 GPT-5.4：“思路广阔”但执行低效的探索家

GPT-5.4则像一个思路天马行空的探索家。它总能想到各种可能性，但在有明确逻辑依赖的密室中，这反而导致了大量的冗余操作。如表2显示，在难度20级的密室里，它平均要尝试213.6次工具调用才能找到出路，几乎是Claude的2倍。它的问题不是“想不到”，而是“想太多”，导致解谜效率低下，这一点在图4中表现得尤为直观。

表2：不同难度级别下每个实例的平均工具调用次数

图3：难度10下的工具调用次数与成功率关系图。

这张图清晰地展示了效率与成功的关系，相较于左上区域的人类和Claude，GPT-5.4的点位明显偏右，说明它通关一次，走的弯路比别人多得多。

 Gemini-3.1-Pro-Preview：心态不稳的“极限选手”

的表现极具戏剧性。它在中等难度的密室中表现惊艳，展现出强大的推理爆发力。但一旦进入25级的极限压力测试，它的表现就会断崖式下跌，成功率骤降至13.3%。这表明它的推理核心在长程、高压环境下存在拐点，一旦超过某个阈值，逻辑链条便会瞬间断裂。

 Kimi-K2.5：“高开低走”的潜力选手

Kimi在此次挑战中，像一个极具潜力但后劲不足的“潜力选手”。表1数据显示，它在5级的密室中取得了95.0%的教高成功率。这证明了它在处理短程、清晰的逻辑链时拥有非常出色的能力。然而，随着难度提升至20级，其成功率骤降至31.7%，衰减幅度较大，说明其在长程记忆和状态追踪方面还有待提升。

为什么AI在密室里会“迷路” ？   

不同AI玩家的“出局”方式各异，但数据揭示了几个惊人的一致性规律。这些“关键发现”共同指向了

图4：关键行为指标随难度变化的趋势。

这张图清晰地显示：随着密室变复杂，所有AI玩家的“过早调用率”（b图，代表规划混乱）都在上升，而“线索遵循率”（c图，代表工作记忆失效）都在下降。这证明了AI Agent的“工作记忆”和“逻辑一致性”正在随任务链条的变长而系统性衰退。

我们将每个模型的评测框架代码、数据构造代码和题目数据集都进行了开源。

感兴趣的开发者欢迎查看项目链接了解更多技术细节：

在简单题目（Diff-5）上，大部分前沿模型都能达到85%+的成功率，差距不大。但随着依赖链加深，差异呈爆炸式增长，到Diff-25时，Claude-Opus-4.6（60.0%）与Gemini-3.1-Pro-Preview（13.3%）之间已是天壤之别。

 2. Claude-Opus-4.6展现最优雅的性能衰减

从Diff-5到Diff-25仅下降30个百分点，是所有模型中衰减最小的。这意味着它在长链推理中保持一致性的能力远超其他模型。

 3. GPT-5.4在简单任务上最强，但扩展性不足

Diff-5拿下96.7%的最高分，但到Diff-25已经降到43.3%（下降53.4点）。"短跑冠军，马拉松不行"。

DeepSeek-Reasoner（以推理增强闻名）在所有难度级别上都不如 DeepSeek-Chat。这揭示了一个深刻的发现：Agent场景中的瓶颈不是单步推理的深度，而是在真实工具交互中动态更新信念、追踪状态的能力。

在Diff-20为例：端到端成功率仅5.0%，但子问题解决率达43%，隐藏节点发现率达56.2%。模型能解决"局部"问题，但无法将中间结果正确串联起来完成整条链路。

总而言之，这篇论文用一场“密室逃脱”把大家从AI的“滤镜”里拽了出来。它告诉我们，一个Agent能不能真正帮你解决问题，不取决于它在熟悉场景下有多丝滑，而在于把它扔到一个全新的烂摊子里，它还能不能理清头绪。

这才是AI Agent从“酷炫的demo”到“能干活的帮手”之间，那道最深的鸿沟。

你认为当前Agent最大的瓶颈是什么？在你的使用场景中，是否也遇到了“串起来就翻车”的问题？

欢迎在评论区分享你的看法，或将文章转发

感兴趣的同事，一起探讨如何构建更智能的Agent！

🎁 随机掉落5个AGI-Eval社区精美礼品

AI密室逃脱：16款顶级AI上演真实逃生，谁是最后赢家？

人工智能

算法

新闻资讯

复旦大学联合AGI-Eval社区发布《AgentEscapeBench》论文，将GPT、Claude、Gemini等16个AI大模型置于270个密室逃脱场景中，测试其长程推理与逻辑规划能力。结果显示：Claude表现稳健，GPT效率偏低，Gemini高压下易崩溃。研究揭示AI在陌生环境中工作记忆与逻辑一致性的系统性衰退，为Agent能力评估提供新基准。论文与数据集已开源。

压力测试

GitHub

Agent

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

复旦大学联合AGI-Eval社区发布《AgentEscapeBench》论文，将GPT、Claude、Gemini等16个AI大模型置于270个密室逃脱场景中，测试其长程推理与逻辑规划能力。结果显示：Claude表现稳健，GPT效率偏低，Gemini高压下易崩溃。研究揭示AI在陌生环境中工作记忆与逻辑一致性的系统性衰退...

AI密室逃脱：16款顶级AI上演真实逃生，谁是最后赢家？

AI密室逃脱：16款顶级AI上演真实逃生，谁是最后赢家？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐