RSI 递归自我改进：让 LLM 自己来设计下一代的 LLM

论文：Agentic Discovery of Neural Architectures: AIRA-Compose and AIRA-Design arXiv：https://arxiv.org/html/2605.15871v1 团队：Meta

一个 LLM 时代的禁忌问题

写过两三篇 Transformer 改进论文的人，都会在某个深夜想过同一件事：

如果让 LLM 自己来设计下一代的 LLM，它会画出怎样的架构？

这个问题听起来既科幻又有点危险。它指向 AI 圈子里一个长期被搁置的概念——Recursive Self-Improvement（RSI，递归自我改进）。它由 I. J. Good 在 1966 年首次提出，含义是：一个智能体如果能够自主改进自身所依赖的算法基础，那么它的能力将以一种自反馈的方式增长。

Transformer 至今仍是无可争议的标准，但这条路上的瓶颈越来越显眼——自注意力的二次复杂度、KV cache 的内存代价。学界正在向 Mamba、SSM、RWKV、Retentive 等"后 Transformer"方向悄悄迁移，并越来越倾向用混合（hybrid）模型——把不同的计算原语（Attention、MLP、SSM 等）按某种非平凡的方式编织在一起。问题是：

这种"编织方式"的设计空间是组合爆炸级的，靠人脑直觉穷举，注定漏掉很多非显然但优秀的配置。

来自 FAIR at Meta 的最新论文 AIRA（2026 年 5 月） 正是冲着这个空白去的。它给出了一个温和但完整的回答：让 LLM agent 自己去搜、去写、去验。

它到底证明了什么

先把结论摆出来——

AIRA 给出两个互补的框架：

• AIRA-Compose：高层架构搜索。让 agent 在预定义的计算原语池（Attention / MLP / Mamba）里组合 16 层的小尺度架构，用 24 小时算力预算反复评估，挑出最佳设计后扩展到 350M、1B、3B；
• AIRA-Design：底层机制实现。让 agent 直接写 Python 代码，从零实现新的 attention 机制（在 LRA 长程基准上测）或者优化整段 GPT 训练脚本（在 Autoresearch 任务上测）。

跑出来的数字很硬：

• AIRA-Compose 在 2-primitive 空间发现的 AIRAformer-D 在 1B 规模上验证 loss 2.734，比 Llama 3.2 低、下游平均准确率高出 2.4 个百分点；3-primitive 空间的 AIRAhybrid-D 把 val loss 推到 2.719，比 Llama 3.2 高 3.8 个百分点；
• 更可观的是 scaling 斜率——AIRAformer-C 的 scaling 速度比 Llama 3.2 快 54%，比 Composer 最佳 Transformer 快 71%；AIRAhybrid-C 比 Nemotron-2 快 23%；
• AIRA-Design 在 LRA 长程文本分类上达到了人类 SOTA 2.6 个百分点以内；
• 在 Autoresearch 开放式优化任务上，Greedy Opus 4.5 + Literature 把验证 BPB 推到了 0.968，超过了 Andrej Karpathy 等人公布的参考基线 0.9775。

也就是说，AI agent 已经能自主发现"比人手设计的基线更强"的神经架构和训练方案。这不是一句空话——它的对照组是 Meta 自家的 Llama 3.2、NVIDIA 的 Nemotron-2 和 Composer 这种顶尖 NAS 系统。

AIRA-Compose：把架构搜索改写成 agentic 任务

传统的 Composer 框架用 Bayesian Optimization + 增量层搜索来探索原语组合。AIRA 做的事，是把"搜索"和"评估"这两步从规则化算法重新改写为 agentic 任务——让 agent 用自己的语言模型直觉去提出假设、撰写候选架构、评估打分，再迭代改进。

具体地说，agent 工作在 AIRA-dojo 这个 harness 里，可以调用四个操作：

• Draft：起草一组初始候选解；
• Improve：在当前最佳候选基础上做改进；
• Debug：当 Analyze 判定为 buggy（比如 OOM、原语数量错）时介入修复；
• Analyze：每一步读取并分析当前解。

具体的搜索方式有两种 scaffold：one-shot（只调 Draft 一次出单解）和 greedy（树搜索，初始 5 个解，对最优解递归 Improve）。AIRA-Compose 用了 11 个 agent、340 个 24 小时 run 加 300 个 60 小时 run，最终发现 14 个新架构——可以分成两个家族：

• AIRAformers（只用 Attention + MLP）：发现 attention-to-MLP 比例 7:9 和 11:5 是两个稳健的"甜蜜点"，前者在 isoFLOP 下更平衡，后者在 isoToken 下表现更强；
• AIRAhybrids（加入 Mamba SSM）：发现的最优模式往往是 2Mb + M + ... 这种 SSM 主导但保留少量 attention 的结构，在 latency–loss Pareto 前沿上比 Composer 推出去更前。

这背后有一个反常识的观察：3-primitive 的搜索空间是 3^16 ≈ 4300 万种排列，但 agent 只探索了其中 0.0052%（2,248 个独特架构），就找到了比 Composer 走遍空间还要好的设计。靠的是 LLM 自带的领域先验——它"知道" attention 应该往哪儿插、SSM 应该放在哪几层，这种 prior 是 Bayesian Optimization 完全没有的。

AIRA-Design：直接让 agent 从零写架构

如果 AIRA-Compose 是"按图施工"，AIRA-Design 就是"从空白纸开始画"。20 个 agent 被要求直接产出一个 model.py——里面要包含一个自定义的 CustomEncoder 类，实现一个亚二次复杂度的 attention 机制，并在 LRA 长程基准的三个任务（IMDB 文本分类、ListOps 嵌套表达式、AAN 论文检索）上跑过 JAX/Flax 训练流水线。

20 个 agent 跑了 1,680 个 run，结论分几层：

1. Gemini 3 Pro 和 Opus 4.6 是当下的两个最强搜架构选手，在 6 个任务配置里各拿下 2 个最佳；
2. One-shot 模式下，所有 agent 都无法产出一个有效解——这是非常关键的发现，单轮代码生成根本撑不起"从零写架构"这种复杂度，必须有迭代调试；
3. Valid Submission Rate（VSR）拉得极开：Opus 4.6 几乎 100% 都能交出可执行解，弱模型经常掉到 10% 以下；
4. 配 SOTA 还差一截但已经很近：最佳 agent 在文档匹配上离 SOTA 仅 2.3 个百分点，文本分类仅 2.6 个百分点。

但作者很诚实地补了一句：这些 agent 产出的架构，本质上是把 Performer、Longformer、Conformer 等已有工作的思路重新组合排布，并不是真正意义上的全新理论贡献。换句话说——

当下的 agent 擅长"工程综合 + 适配"，但还没到"科学发现"那一层。

当 agent 拥有了"文献库"——Autoresearch 的意外发现

Autoresearch 这部分是最有戏剧性的。任务是：给 agent 一份 nanochat 的 baseline 训练脚本（baseline BPB = 1.012），让它在 5 分钟单 GPU 训练预算内尽可能压低验证 BPB。

7 个 agent 在原始版本上跑了 70 个 seed，Opus 4.5、Opus 4.6 这两个家族稳定能把 BPB 压到 1.00 以下。但真正点燃这件事的，是 "+Literature" 变体——给 agent 额外塞进去 41 篇相关论文（结构化分析）+ 14 个参考代码库。

结果有意思：

• Greedy Opus 4.5 + Lit 在某个 seed 上把 BPB 推到了 0.968——超过了 Karpathy 原始 Autoresearch 论文公布的 0.9775 最佳；
• 它的关键操作不是堆参数，而是在第二步引入了 focal loss 替换 cross-entropy（Δ = 0.036，是表里最大的单步改进）；
• 但文献并不总有用：GPT-5+Lit 和 Opus 4.5+Lit base 比无文献版本反而退步——把额外知识 有效 整合进优化策略，本身就是当下 agent 还没掌握的能力。

这一段揭示的潜台词其实更深一层：agent 不缺算力，缺的是"读得懂、用得对、敢替换"的科研型判断力。

它的边界与诚实之处

AIRA 这篇论文最难得的，是它对自身边界讲得非常清楚。

• 小尺度代理不完全等于大尺度性能——AIRA-Compose 的搜索是在 16 层的小模型上做的，扩展到 1B/3B 时仍有 gap，论文里有几个 ranking 翻转的案例；
• Aggregate / Extrapolate 这两步仍然是手工规则，并非完全 agentic——理想中"agent 自己搜、自己聚、自己 scale"还差最后一公里；
• One-shot 在底层代码生成上彻底失败——任何关于"用 single-call 让 LLM 写出生产级 architecture code"的幻想可以打住了；
• PyTorch 训练偏置导致 agent 写 JAX/Flax 时频繁掉链子，这其实是当前所有 frontier LLM 的共性弱点；
• agent 还做不到"颠覆性创新"——它能优雅地缝合 Performer + Longformer + GLU + depthwise conv，但提不出全新的注意力理论。

结语：RSI 的第一道门缝

最有意思的不是某个具体的 AIRAformer-D 比 Llama 3.2 高了 2.4 个百分点，而是这件事本身——一群通用 LLM agent，在不接触任何关于神经架构的特殊监督信号的情况下，仅凭它们的领域常识和迭代评估，搜出了一批可以与人手设计的 SOTA 平起平坐的模型架构。

这就是 RSI 这条路的第一道门缝。它没有让我们看到机器自我"觉醒"——agent 仍然是工程师，不是科学家。但它告诉我们：

"下一代基础模型的设计，是可以被 LLM 自己自动化掉的；模型设计者的角色，开始从'画架构'转向'造 harness 和 task 标准'。"

当你下一次看到 Llama 5、Gemini 4、Claude 5 的技术报告时，不妨多问一句：它的架构是某个工程师在白板上画出来的，还是某个 agent 在某个 dojo 里跑了三百个 step 之后自己挑出来的？

也许不久之后，这两个答案会越来越难分辨——而那一刻，就是 RSI 真正落地的开始。