Agent自进化系列（二）--什么才叫自进化 Agent：五个问题与一个验证门槛

上篇已经聊过了， Agent 已经会做事、能工作，也有 Memory、Rules 和 Skills 可以留下经验，但“能保存”并不等于“会成长”。

本文聊什么叫成长了，怎么才叫Agent能自进化。

一、从模型自学习到 Agent 系统进化

自进化研究的关注对象，这几年一直在往外扩。

2024 年，研究重心更多还是 Model Self-Evolution，即模型如何从自身产生的经验中学习。

A Survey on Self-Evolution of Large Language Models

Tao 等人的综述将这一过程概括为四个阶段：经验获取、经验提炼、更新和评价。论文虽然也讨论了 LLM-based Agent，但关注重点仍然是经验如何形成学习闭环，对于更新这块分为两种：1. 模型权重更新，就是大家熟悉的模型微调和强化学习；2. 上下文更新。只是当时尚未把 Memory、Tools、Workflow 和 Harness（概念都还没出现）作为 Agent System 中可独立进化的模块进行系统展开。

这套循环现在仍然成立，也和上一篇的“留存、复用、验证”对得上，而是进一步扩展了可以被更新的对象。

到了 2025 年，研究对象从模型扩展到了完整的 Agent System，并形成了两种互补的观察方式。

A Survey of Self-Evolving Agents

Gao等人的这篇综述主要围绕三个基础问题组织自进化：改什么、何时改、如何改；在完整分类体系中，又进一步讨论了自进化发生在哪些应用环境。

A Comprehensive Survey of Self-Evolving AI Agents

FFang等人的这篇综述把自进化 Agent 定义成一种中间范式：一边是基础模型的静态能力，另一边是终身智能体系统需要的持续适应。论文给出的反馈闭环有四块：System Inputs、Agent System、Environment 和 Optimisers。输入给出任务和约束，Agent 系统执行并和环境互动，环境返回轨迹和反馈，优化器再把这些信号写成对 Agent 的更新。

所以，在2025 年已经有了分层思路：被优化的是 Agent 系统，负责更新的是 Optimiser。但 Optimiser 当时还很宽，可以是训练算法、奖励机制、固定优化流程，也可以由模型驱动。在具体系统里，任务执行和经验更新也常常页都在同一个 Agent 上，自己完成任务、观察反馈、生成反思，再在下一次任务里用上这些经验。

2026 年，一批新的研究工作开始将 Solver、Evolver 和 Evaluator 明确设计为可独立实现、替换和评测的系统角色。（其实更早的研究中已经出现反思器、评价器和多 Agent 分工，只是迁移到架构了；就和“行动 → 环境反馈 → 更新策略 → 再行动”这种思路在强化学习早有了，但是现在迁移到系统范式了）。Optimiser 不再只是一段抽象概念，而越来越多地被实现为具有工具、记忆、文件访问和代码修改能力的 Evolver Agent。任务求解和系统进化也被拆成两个不同循环：

Meta-Harness

Meta-Harness就是一个典型例子。它不要求当前任务（ 可认为是Solver） 在一次任务结束后写一条经验，它让外层Coding Agent（可认为是Evolver ） 读取历史 Harness 的源码、执行轨迹和测评结果，然后直接搜索和修改 Harness Code。修改可能落在存储、检索或者策略上，也可能落在工具调用、控制流程和任务完成逻辑上。

Harness Updating Is Not Harness Benefit

2026 年的这项工作进一步把两种能力明确拆开：

Harness-updating 表示 Evolver 能否从执行证据中产生有价值的 Harness 更新；

Harness-benefit 则表示 Solver 能否在后续任务中正确利用更新后的 Harness。

研究发现，会产生更新和会使用更新是两种不同能力：一些较小模型也能写出有效的 Skill 或 Harness 更新，但较弱的 Solver 可能无法正确触发和遵循这些更新。这也说明选择 Evolver 模型和选择 Solver 模型不是同一个模型路由问题。

HyperAgents

如果Solver 和 Evolver 已经是两套职责。是不是就得做成两个互相调用的 Agent？不一定。Meta 的 HyperAgents 把 Task Agent 和 Meta Agent 写进同一个可编辑程序。Task Agent 只负责完成目标任务；Meta Agent 负责根据结果修改 Task Agent，必要时连自己的改进机制一起改。对外它仍是一个系统，对内求解和进化已经分开。

因此，2026 年的变化并不是第一次提出“谁来进化”，也不只是从“一个模型”变成“两个模型”，而是把 2025 年概念上的 Agent System—Optimiser 边界，进一步变成可独立设计、替换和评测的 Solver、Evolver 与 Evaluator。三者可以使用同一个底座模型的不同实例，也可以由不同模型、不同 Harness，甚至不同权限环境承担。

演进脉络可以概括为：

2024 年的一些研究是先把循环画完整：获取、提炼、更新、评价。2025 年的研究者把对象从模型扩成系统，并分别问出了改什么 / 何时改 / 如何改，以及谁在优化谁。2026 年则把后一个问题做成可独立设计的角色。

二、五问一验：把“自进化”问题收成一套检查单

What、When、How、Where 就是上面 Gao 已经摊开的四个问题；Who 则是 Fang 把 Optimiser 拆出来之后，2026 年继续工程化优化。

今天很多产品和论文都会使用“反思”“学习”“持续改进”“自我进化”等表述，但它们描述的系统可能完全不同。有的 Agent 只是在一次任务中根据报错重新尝试；有的会把反思写入 Memory；有的把重复流程封装成 Skill；有的通过强化学习更新模型参数；还有的让一个独立的 Evolver 直接修改 Solver 的 Harness。

这些框架或者系统都很容易都被装进“自进化”这个词里。五问一验的价值，就是把模糊的“变聪明了”拆成可以具体回答和验证的问题。

其中，What 决定改哪一块，When 决定更新影响当前任务还是未来任务，How 决定经验怎样转化为更新，Who 决定任务求解与系统更新分别由谁承担，Where 决定系统能获得什么环境反馈。最后还需要通过 Evaluation 检查更新是否带来了真实、稳定且可复现的提升。

三、What：要进化哪个模块？

Gao 综述里的 What，问的不是“它有没有变聪明”，而是：

如果我们要进行自进化，到底准备进化 Agent 的哪一块？

论文把可进化对象收成四个方向：模型、上下文、工具、架构。

• 模型：改参数，把策略或经验写进权重
• 上下文：改模型读到的东西，包括提示怎么写，以及 Memory、Rules、Skills 这类经验怎么存、怎么召回
• 工具：改 Agent 能用什么、会不会自己造工具、怎么选工具
• 架构：改 Agent 怎么组织自己，包括 Workflow、Harness，以及多智能体怎么协作

选哪一块，成本、风险、验证方式和回滚难度完全不同。写进一条 Memory，和微调一次模型，都叫系统发生了变化，但不是同一种进化。

What 先要选定模块。至于这次更新有没有真正留下来、下次能不能用上，那是上一篇文章中提到的的留存和复用，不是 What 本身。

四、When：进化发生在什么时候？

Gao 综述里的 When，问的是自进化策略在哪个阶段被调用，和任务执行是什么关系。论文只分两种时间：

• 轮内：更新主要服务于当前任务，目标是利用当前反馈把这次任务做对。
• 跨任务：更新被持久保留，并持续影响后续任务。

两种时间底下，都可以用上下文学习、监督微调或强化学习。所以轮内不等于“改完就扔”，跨任务也不等于“只写 Memory”。轮内也可以当场微调；跨任务也可以只是把上次的结果塞进下次上下文。

只影响当前任务，属于任务内适应；能够跨越任务边界并持续影响未来行为，才属于跨任务成长。

五、How：经验怎样转化为更新？

How 不只问“反馈来自哪里”，还要问系统用什么学习机制把反馈转化为更新。同样一个单元测试结果，可以被写成一条 Memory，也可以用于筛选 Prompt、修改 Harness，或者通过强化学习更新模型参数。

经验更新必须依赖反馈信号。这个信号可能是：

• 用户明确评价
• 任务成功或失败
• 单元测试和编译结果
• 环境返回的奖励
• Critic Agent 的评价
• 多个候选方案的比较
• 长期业务指标变化
• 后续任务中的真实效果

反馈有多可靠，进化就有多可靠。

反馈信号还需要通过具体的更新机制，才能真正改变 Agent。结合 Gao 综述在 When 与 How 中使用的分类，可以看到几种常见路径：

• 上下文更新：把反馈提炼为反思、示例或规则，在后续推理中通过 Context 使用；
• 监督更新：将成功轨迹或筛选后的自产数据用于参数训练；
• 奖励驱动更新：把环境反馈转换为奖励，用强化学习更新策略；
• 模仿与示范学习：学习自身成功轨迹、其他 Agent 或人类提供的高质量示范；
• 搜索与进化：维护多个 Prompt、Workflow、Harness 或 Agent 候选，通过生成、变异、评分和选择获得更优版本。

代码场景之所以适合研究自进化，是因为它有测试、编译器、静态检查和运行结果，能够相对客观地判断更新是否有效。开放写作、产品设计、家庭陪伴等任务则更加困难，因为“更好”往往缺乏即时、稳定和可自动计算的标准。

如果评价信号本身是错误的，Agent 不仅不会成长，还可能沿着错误方向不断强化。算子再完整，也只是沿着错误方向写得更勤，方向错了，就越努力越心酸。。。

六、Who：谁在进化谁？

Who 关注的不是 Agent 修改了什么，而是任务执行、经验归因、候选更新和结果验证分别由谁完成。

可以区分几种模式：

Self-Harness 代表了其中一个方向：底座模型固定，改的是它外面的 Harness。同一个模型先在当前 Harness 下做任务、挖失败模式，再作为Evolver提出有界的 Harness 修改，通过回归测试才晋升。其中，Evolver 也不一定是一个固定形态。它可以是一段手写优化算法，可以是同一个模型的另一次调用，可以是独立的 Coding Agent，也可以是一组负责提出、批评和验证更新的多 Agent 系统。

因此，判断一个系统是否真的具有自进化能力，不能只看 Solver 是否变好了，还要继续追问：

• 谁读取和筛选的历史轨迹？
• 谁判断任务为什么成功或者失败？
• 谁决定修改 Memory、Skill、Workflow、Harness 还是 Model？
• 谁验证修改没有破坏其他能力？
• 谁拥有把候选更新晋升到正式系统的权限？
• 优化别人的Evolver 自己的更新机制是否也可以被改进？

从这个角度看，2026 年的研究对象正在从“一个会反思的 Agent”，转向一个包含 Solver、Evolver、Evaluator 和更新晋升机制的自进化 Agent 系统：

Solver–Evolver–Evaluator 的版本化进化闭环

七、Where：自进化发生在哪类环境？

Where 看起来像是应用场景/环境：代码、数学、办公、教育、医疗、家庭服务。

但它真正决定的是：

• 环境能否提供清晰反馈
• Agent 是否可以安全试错
• 更新效果能否重复验证
• 错误更新是否容易回滚
• 经验是否具有稳定的适用范围

因此，自进化不是脱离环境的抽象能力。一个 Agent 能否成长，很大程度上取决于它所在的环境能否为成长提供可靠反馈，让Evaluator这个重要环节能真正起到作用。

八、Evaluation：变化之后真的更好了吗？

前五个问题描述一次更新如何发生，但它们不能证明这次更新一定有效。Agent 可以更新 Memory、Prompt、Skill、Harness 甚至模型权重，更新后的系统也可能没有提升，甚至出现能力退化。

因此，自进化还需要一个验证门槛：更新是否提高了未来任务的成功率，能否迁移到未见任务，是否保留了原有能力，以及额外增加了多少成本、时延和风险。

没有验证的更新只能叫变化；只有经过评测并被证明有效的持久更新，才可以称为进化。

九、有 Memory 为什么还不能叫自进化？

很多人认为只要有了 Memory就能自进化，有Memory只说明系统具备一种潜在的经验载体，并不证明 Memory 本身发生了有效进化。只有当系统能够根据反馈选择性地写入、修正、合并或遗忘经验，并验证这些变化改善了未来任务，Memory 才真正进入自进化闭环。

它没有自动回答What，When，How， Who， Where， Evaluatoin。

静态 Memory 和 Memory Evolution 并不相同：

• 固定知识库：具备外部存储，但内容和机制没有进化；
• 自动写入对话事实：Memory 在积累，但不一定带来能力提升；

根据反馈提炼经验，持续优化记忆内容、结构或管理策略：才更接近 Memory Evolution。

Memory 解决的是经验存在哪里怎么存，自进化还需要回答系统如何利用经验改变未来的自己。

总结起来，从 2024 年的 Model Self-Evolution，到 2025 年的 Agent System—Optimiser，再到 2026 年的 Solver、Evolver 与 Evaluator，自进化的研究对象正在不断外扩。

它最初更多讨论模型怎样从自己生成的经验中学习；随后开始关注 Memory、Tools、Workflow 和 Agent Architecture 如何持续更新；现在再进一步追问，任务求解、经验归因、候选更新和结果验证应该由谁承担怎么评估。

这意味着，自进化不再只是“让一个 Agent 反思自己”，而是在形成一套新的系统结构：

What、When、How、Who、Where 是顺着几篇综述和最新工作整理出的五个检查问题，Evaluation 则是所有更新必须经过的验证门槛。前五问帮助我们看清系统改了什么、何时改、怎么改、由谁改，以及在什么环境中改；最后一验决定这些变化能否被称为真正的进化。