Harness也能自我进化？上海AI Lab Self-Harness：让同一个LLM实现33%-60%提升

AI论文观察

2026年6月10日  ·  前沿·Agent自进化  ·  arXiv:2606.09498

📌 为什么我推荐你读这篇

大多数人聊「Agent 能力提升」眼睛只盯模型大小。这篇论文换了角度——让 Agent 自己优化自己的运行框架（Harness）。

① 模型参数没动性能涨60%——MiniMax 40.5%→61.9%、Qwen3.5 23.8%→38.1%、GLM-5 42.9%→57.1%

② 能进化的不只是模型还有使用方式——三阶段全自动闭环：弱点挖掘→提案生成→回归验证

③ 能写好 Harness ≠ 能用好 Harness——更新是手段，收益才是目的

如果你在做长期运行 Agent，这篇直接告诉你：Harness 该自动化了。

原标题

 Self-Harness: Harnesses That Improve Themselves 作者 Hangfan Zhang et al.  |  机构 上海人工智能实验室 方法 三阶段自进化 · Terminal-Bench 2.0  |  标签 #SelfEvolution #Harness #FixedLLM

本报讯 上海人工智能实验室最新研究 Self-Harness 提出反直觉命题：不改变 LLM 任何参数，让 Agent 自己分析失败、提出修补、用回归测试验证——三阶段全自动循环，在 Terminal-Bench 2.0 上让三个不同家族的固定模型分别获得 33%、52%、60% 的相对提升。

论文核心观点：LLM Agent 性能由基座模型和 Harness（系统提示词、工具包装、规划模板、验证逻辑）共同决定。不同模型有不同失败模式，Harness 设计本质上是模型相关的——但今天还靠人类工程师手写，这种范式在 LLM 快速迭代下完全不可扩展。

三阶段循环：把"调 Harness"变成自动化任务

① Weakness Mining：从执行轨迹挖掘系统性失败模式。收集工具调用、错误消息、成功失败状态，按"工具选择/上下文/规划/错误处理/验证缺失"五维归类，按频率×影响度排序。

② Harness Proposal：针对每个弱点生成 3-5 个候选方案。四类提案：系统提示词修改、工具包装器添加、验证步骤注入、规划模板更新。设计原则：针对性 + 最小化 + 多样性 + 可测试。

③ Proposal Validation：四条接受标准——无回归、净正向、弱点修复、不引入新故障。70/30 训练验证切分。未通过直接丢弃。

三模型 × 三种弱点 × 三种修补

MiniMax M2.5：8 个 git 任务因 user.name/email 未配置失败 → 系统提示加预检规则 → 8 个全部通过，+9% git 任务通过率。

Qwen3.5：12 个任务假设文件操作必然成功 → create_file 包装器加存在性+内容校验 → 10/12 修复，+11.2% 文件操作通过率。

GLM-5：7 个长任务中段丢失中间状态 → 规划模板加显式状态跟踪 → 6/7 修复，+6.7% 多步任务通过率。同框架，三个完全不同的修补——这就是"模型相关 Harness"命题的直接证据。

So What：三类人的行动清单

路易乔布斯 © 2026 · AI论文观察 · 论文精读

原文：Self-Harness: Harnesses That Improve Themselves

arXiv:2606.09498 | 基于开放获取论文研读