![](https://developer.qcloudimg.com/http-save/8729876/03fe7027d5b9a2933d96aa813249f07a.jpg)

> 💡 **一句话带走**：Skill-α 把 agent skill 的生成变成"一步步改"，用 rollback reward（编辑前后在同一任务上跑一遍对比）给每次编辑打分，绕开了"skill 没有天然监督信号"这个本质难题。如果你在做 agent、正头疼 skill 怎么积累而不是手写，这篇值得读。

## 🎯 导语：做 Agent 的，都被 skill 折磨过吧

先问一个可能戳到你的问题：你给 agent 配的那份 skill（或者叫工具说明、操作手册、SOP，叫啥都行），你真的确定它"有用"吗？

我猜你大概率经历过这些——改了一版 skill，跑几个 case 看着好像好了，上线一测又回退了；不同场景要重写一份，复用基本靠玄学；最难受的是，你根本不知道某一条规则到底是帮了 agent 还是悄悄扯后腿。

对，就是你想的那个坑。skill 这东西，写起来像写文档，验证起来却像调玄学。

这篇论文要解决的就是这个。它叫 **Skill-α**（arXiv: 2608.01678，来自港中文、LightSpeed 和一位独立研究者），核心招数是一个叫 **rollback reward** 的强化学习信号——让模型学会"改完跑一遍测试看看有没有变好"，从而自己迭代自己的 skill。

想自己动手试？资源在这：

> **想自己动手试？**
> - 📄 论文：[arXiv 2608.01678](https://arxiv.org/abs/2608.01678)
> - 💻 代码：[GitHub · ejhshen/skill-alpha](https://github.com/ejhshen/skill-alpha)

## 🤔 这篇论文到底想解决什么问题？

要把痛点说清楚，得先承认一个尴尬的事实：**skill 没有天然的"对错信号"**。

写代码，你能跑测试、看 loss；训模型，你有标注、有梯度。可 skill 是一段自然语言文本——"遇到退货请求先核对订单状态再……"——它好不好，谁说了算？论文里说得很直白：skill 的价值，只能通过"它有没有改善 agent 在下游任务上的行为"来判断。

听起来合理，但这条信号有几个要命的特性：

- **稀疏**：你要跑完整个下游任务才知道结果，中间没法给反馈；
- **延迟**：从"改了一条规则"到"看到任务成功率变化"，中间隔着一整次 agent 执行；
- **不可微**：你不能拿着"任务成功率"对 skill 文本求导、做梯度下降。

更要命的是，现有的 skill 生成方法大多是**启发式或 pipeline 式**的——让大模型读一遍文档/经验，按一套人为设计的流程整合成 skill。问题是，文档和经验是两种很不一样的来源（一个是结构化知识，一个是执行轨迹），你得为每种来源专门设计一套整合流程，**没法统一**。

所以论文的研究问题一句话就能讲清：**能不能用"学习"的方式，从文档或经验里自动生成能改善 agent 行为的 skill——而且不依赖人为设计的 pipeline？**

难点就卡在那个"没有天然监督信号"上。

## 🛠️ 它的思路是什么？

作者的破局点很巧妙：**不试图绝对地评估一个 skill 好不好，而是评估"这次编辑有没有让它变好一点"**。

听起来像绕口令，举个写代码的类比你就秒懂。你改了一段代码，怎么知道改好了？最稳的办法是——先把改动 stash 掉跑一遍测试（控制组），再把改动 apply 回来跑一遍（实验组），看测试是变绿还是变红。**只比较"改前 vs 改后"**，你就不用管这个代码库整体有多烂，只关心这次编辑带来的增量。

Skill-α 干的就是这件事，只是把"代码"换成 skill 文本、"测试"换成下游任务执行。具体分三步走：

1. **把生成拆成"渐进式编辑"**：不从零生成完整 skill，而是让一个编辑器（skill-editing policy，用 Qwen3-8B 这个 80 亿参数的语言模型）从初始 skill 开始，逐批读证据（文档片段或执行轨迹），每步施加一个**局部编辑动作**。动作空间就五类，很直觉：
   - 🟢 **Create**：补一条缺失的规则或流程
   - ✏️ **Update**：修正一条不完整或不准确的规则
   - 🔗 **Merge**：合并重叠的内容
   - ✂️ **Prune**：删掉误导性或冗余的内容
   - ⏸️ **Noop**：保持不动（这个很关键，后面说）

2. **用 rollback reward 给每次编辑打分**：每个编辑步骤绑定一个 **anchored query**（锚定查询，就是固定用来测试的那个任务）和一个 **verifier**（验证器，给执行结果打分的裁判）。worker agent（用的是 GPT-4o，且训练时**冻结**）分别在编辑前、编辑后的 skill 下执行同一个 anchored query，verifier 打两次分。规则很简单：
   - 非 Noop 编辑：编辑后分数 > 编辑前 → 这次编辑得 +1，否则 0；
   - Noop：如果没有任何其他编辑能让分数超过"不改"，Noop 也得 +1——**保护已经够好的 skill 不被瞎改**。

3. **用 GRPO 训练编辑器**：GRPO（Group Relative Policy Optimization，一种强化学习算法，简单说就是"组内相对比较"来更新策略）每步采样 8 个候选编辑，用上面的 rollback reward 打分，组内标准化后更新编辑器。


*图说：左半是推理时的渐进式 skill 生成——编辑器读一批证据、改一次 skill，循环到证据读完；右半是训练时的 rollback 机制——采样一组候选编辑、在同一个 anchored query 上对比"编辑前 vs 编辑后"的下游执行*

为什么这个设计聪明？我想有三层：

- **第一层，相对化绕开了校准问题**。你不需要 verifier 绝对准——只要它"单调"（更好的执行给更高的分）就够了，因为只比前后差。这就避开了"reward 模型没校准好"这个老大难。
- **第二层，Noop 是个反直觉但关键的设计**。如果只有"改了更好才给奖励"，模型会为了拿奖励瞎改——明明 skill 已经够好了，它也要硬改。Noop 给"不改也是一种正确选择"留了出口，消融实验里去掉 Noop 性能确实会掉。
- **第三层，worker 冻结让信号纯粹**。worker 不跟着一起训，所以 reward 只反映 skill 质量，不会混入"worker 学会了钻 verifier 空子"这种 reward hacking。

一句话总结思路：**把"评估 skill 好坏"这个无解的问题，转化成"评估这次编辑有没有改善"这个可解的问题**。这个思路的迁移价值，比 Skill-α 本身更值得记。

## 📈 效果到底怎么样？

数字层面，作者在两类来源、多个基准上做了测试。术语先备一下：**pass rate（通过率，越高越好）**——就是 agent 在任务基准上的成功率，百分比。基准有三个：CL-Bench（文档转 skill）、SpreadsheetBench（电子表格任务）、tau2-bench（客服类多轮对话，分航空/零售/电信三个域）。

最亮眼的几个数（GPT-4o 作 worker）：

- **CL-Bench 平均 10.38%**，比最强 baseline（Progressive Prompt 的 7.11%）高 **3.3 个点**；
- **tau2-bench 平均 55.83%**，比最强 baseline（SkillPro 的 49.17%）高 **6.7 个点**；
- **SpreadsheetBench 27.50%**，远超第二名。

但更让我信服的不是这些第一名，而是两个"侧面证据"：

第一个是**跨 worker 迁移**。作者把用 GPT-4o 训出来的 skill，直接拿去给 Claude-Sonnet-4.5 用——结果还是第一（tau2 平均 70.33，超过 SkillPro 的 64.00）。这说明 skill 不是过拟合了 GPT-4o 的某个 quirk，而是**worker-agnostic 的知识载体**。我倾向于把它理解成：好的 skill 是关于"任务该怎么做"的知识，跟具体哪个模型执行关系不大。

第二个是**消融实验**里的悬崖式下降：

| 变体 | CL-Bench 平均 |
|------|--------------|
| 完整 Skill-α | 10.38 |
| SFT only（只监督微调，不强化学习） | 3.46 |
| 去掉 rollback reward（换普通 reward） | 3.68 |
| 去掉 Merge/Prune 两个动作 | 4.74 |
| 去掉 Noop | 9.55 |

去掉 rollback reward，性能从 10.38 直接掉到 3.68——**这个悬崖是最硬的证据**，说明真正起作用的是 rollback 这条特定信号，而不是"做了强化学习"这件事本身。换句话说，不是 RL 有用，是这个具体的 reward 设计有用。


*图说：训练过程中 reward 稳定上升（左），rollout 时各动作的占比（右）——Create 和 Noop 是占比最高的两类，符合"该补则补、不该改就不改"的设计预期*

诚实地说一句：**绝对成功率本身不高**。CL-Bench 平均才 10.38%，好几个子集在 5% 上下。这说明 skill 生成只是瓶颈之一，worker 自身能力、任务难度同样卡着上限。论文的"提升"是相对意义上的——别误读成"任务被解决了"。

## 💡 为什么你要关心？

落到你的工作上，我觉得有三条值得带走：

- **如果你在做 agent，这个思路直接对口**。skill 积累是 agent 工程化的核心痛点——大家都在手写、或者用 prompt 硬凑。Skill-α 给了一条"让模型自己学怎么改 skill"的路，而且因为 worker 冻结，你可以把它当作一个**独立的 skill 优化层**，接到你现有的 agent 上（worker 换成你用的任何模型）。
- **rollback reward 这个思路能迁移到很多"没法直接评估"的场景**。只要满足"对象没有天然监督信号、但能在同一任务上做前后对比"，就能套：memory 的整理（改完 memory 跑一遍任务看有没有变好）、prompt 的自动优化、retrieval index 的调整、甚至 tool description 的打磨。这条思路的通用性比 Skill-α 本身更值钱。
- **Noop 的设计是个可以借鉴的工程小招**。任何"允许模型做修改"的设定，都该给"不改"留一个正儿八经的出口，否则模型会为了刷奖励而过度修改。这个小设计在消融里实打实验证了价值。

再往远看一点：当下 agent skill library 这条线越来越热（Anthropic 的 skill、各类 agent framework 都在做），核心矛盾就是"skill 从哪来、怎么保证质量"。Skill-α 给的是一个 RL 路线的答案——不是唯一答案，但思路足够清晰、足够可迁移。

## 🧊 冷静一下

严肃说几个保留，语气放克制点。

第一，**reward 和 verifier 接口仍是 benchmark-dependent**。论文自己承认——CL-Bench 要用 GPT-5.5 + 官方评分细则，SpreadsheetBench 和 tau2 用环境直接反馈。换一个新场景，你仍得先设计 verifier 和 anchored query 的采样协议。所以"统一"主要体现在编辑器架构和 RL 框架，**reward 接口本身没统一**。如果 verifier 不可靠或 anchored query 不具代表性，rollback reward 会忠实地继承这个偏差——而论文没有测"verifier 有噪声时还稳不稳"。

第二，**SFT warm-up 数据是 DeepSeek-V4-Pro 合成的**。这意味着编辑器在某种程度上继承了 DeepSeek 的 skill 偏好，是一个潜在的混杂因素——(uncertain) 这块的影响有多大，论文没展开。

第三，绝对值偏低前面提过，不重复。综合看，方法清晰、实验扎实（多基准、跨 worker、详尽消融）、代码开源——核心 claim（rollback reward 是有效训练信号）站得住，主要不确定性集中在 verifier 的 benchmark 依赖上。

---

> 作者：lusca
> 版本：lusca-paper-blog v1.2.8
> 出处：https://github.com/yjmm10/lusca-skill/tree/main/skills/lusca-paper-blog



💡 一句话带走：Skill-α 把 agent skill 的生成变成"一步步改"，用 rollback reward（编辑前后在同一任务上跑一遍对比）给每次编辑打分，绕开了"skill 没有天然监督信号"这个本质难题。如果你在做 agent、正头疼 skill 怎么积累而不是手写，这篇值得读。

Skill-α：教 Agent 学会自己'改说明书'

人工智能

算法

开发工具

Skill-α通过rollback reward机制，将Agent技能生成转化为渐进式编辑优化，在CL-Bench、tau2-bench等基准上显著超越现有方法，且技能可跨模型迁移，为技能自动积累提供了可复用的强化学习路径。

强化学习

DeepSeek

GitHub

Agent

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

Skill-α：教 Agent 学会自己'改说明书'-腾讯云开发者社区-腾讯云

Skill-α：教 Agent 学会自己'改说明书'

Skill-α：教 Agent 学会自己'改说明书'

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐