Looped World Models｜参数提高10倍的世界模型

刚介绍过编程领域里 Loop Engineering 工程概念：

11 页 Claude Loop Engineering 实战手册

Loop Engineering：从提示者到循环设计者的14步路线图

Loop Engineering 如何使用AI编程智能体：构建可循环系统

有人就训练出了 Looped World Models（循环世界模型）。

在 ScienceWorld 科学推理任务上全面碾压了 Claude Opus 4.6 和 Gemini-3-Flash，而参数量只百分之一不到。

这个模型的出现，是为了解答问题：AI 能否持续理解、修正、推演它所面对的世界。

因为大模型发展到现在，越来越多往它的下游 Agent 进化的趋势。

而 Agent 必然要脱离对话 Chat 模式，要和真实世界进行互动，所以这也是命名为世界模型的缘由。

什么是"世界模型"

在聊这篇论文之前，先花一分钟搞清楚"世界模型"到底是什么。

想象你在玩《我的世界》。

你往前走一步，屏幕上的画面会变；你挥一下镐子，方块会碎。

所以，我知道现在是什么画面，我做了这个动作，我预判下一个画面会是什么。

世界模型就是AI版的这个模拟器。

给AI一张当前画面 + 一个动作，它要预测下一个画面长什么样。

• • 自动驾驶：我打方向盘，下一秒车会到哪个位置？
• • 机器人：我伸手去抓杯子，杯子会怎么移动？
• • 游戏AI：我放这个技能，敌人会怎么反应？
• • 科学推理：我把水加热，会发生什么？

世界模型的难题

世界模型的精度和深度是一对冤家：

• • 深度太浅 → 模拟不准，预测偏差大，几步之后就"跑飞了"
• • 深度太深 → 参数爆炸，推理太慢，根本部署不到实际设备上

传统思路是什么？堆更多参数、喂更多数据。

研发这个模型的团队尝试了另外一个思路：

非得堆参数吗？能不能让同一个参数块，多用几次？

核心创意：循环

2019年 DeepMind 出过 Universal Transformer，核心思想就俩字：循环。

传统的 Transformer 是堆叠的：第1层处理完给第2层，第2层给第3层……每一层都是全新的参数。

循环 Transformer 的思路是：就一层参数，让它自己循环跑 N 次。

等于说，传统模型是"雇100个人站一排，每人处理一步"，循环模型是"雇1个高手，让他反复琢磨100遍"。

但是这种模式有个问题：循环会爆炸。

循环一个模块100次，输出很容易发散，数值越滚越大，最后全变成 NaN。

这在语言模型里还好，在世界模型里是致命的，因为世界模型要展开几十上百步预测，一步错步步错。

模型团队的核心贡献就是：怎么让循环模型稳定下来。

保持循环稳定性

作者给循环模块加了一个数学约束，循环中的状态更新公式大概是这样的。

新状态 = A × 旧状态 + B × 新输入 + Transformer处理

其中 A 是一个矩阵，控制"保留多少旧信息"。

作者把 A 设计成对角矩阵，且每个对角元素都严格小于1。

每循环一次，旧状态都会被打一点点折扣，绝不可能发散。

更妙的是：这个约束不需要梯度裁剪、不需要人工归一化、不需要调敏感超参数。

它天然稳定，数学上可以证明。

因为有了这个约束，模型可以放心大胆地循环——训练时最多到1024次，也不会崩溃。

自适应深度

有了稳定性，第二个创新点：不是每一步都需要循环同样多次。

比如你模拟一个球在桌面上匀速滚动——这一步很简单，循环1次就够了。

但如果你模拟"把冰块放进热水里"——涉及热传导、相变、浮力——这一步复杂得多，可能需要循环几十次。

作者设计了一个"退出门"机制：每次循环完，模型自己判断"我琢磨得够不够？"

如果够了，就停下来进入下一步。不够，就再循环一轮。

实际效果：简单过渡只需要4层计算，复杂过渡可能用到100层以上。

总推理量节省了约25倍。

延迟解码

传统世界模型在每个时间步都要"解码"，把内部状态翻译成画面输出。

这很好理解：你给我一张图，我预测下一张图。

但作者觉得：不必每步都解码。

如果你在做科学推理：比如"把试管里的水烧开"，你不需要看到水分子在每一步怎么运动，你只需要知道最后水开了没有。

延迟解码的思路就是：

连续输入5步动作，让模型在内部自己"推演"5步，只在最后一步解码出结果。

这带来了三个好处

1. 1. 更快：解码器是模型里最重的部分，从每步解码变成只在最后一步解码，省了大量计算。
2. 2. 更准：模型不用在每一步分心去"画图"，可以专心推理物理规律。
3. 3. 可监控：如果中间想看一眼，可以用一个轻量级的"探头"快速检查，不打断推理。

这种设计形成了一个双层循环结构：

外层循环（动作步骤）：动作1 → 动作2 → 动作3 → 动作4 → 动作5
    ↓                ↓        ↓        ↓        ↓
内层循环（深度精炼）：循环循环循环  循环循环  循环循环  循环  最终解码

总有效深度 = 动作步数 × 每步循环次数，但参数只有一套。

测试效果

模型训练完了，实际测试效果如下：

ScienceWorld 科学推理任务

说明循环世界模型才是真正的"战斗力来源"。

延迟解码的威力

延迟步数越多，提升越明显。以 Step 5（连续输入 5 个动作后解码）跟 Gemini 对比：

• • 烧水任务：EM 提升 +500.9%
• • 融化任务：EM 提升 +557.7%
• • 化学反应：EM 提升 +100.0%

这说明延迟解码确实是"延迟越久越香"——给了模型足够的时间在内部推演物理规律。

这篇论文提出了模型训练的加大参数，增加数据之外的第三个方向：

迭代潜在深度（Iterative Latent Depth）——让同样的参数多"思考"几遍。

意味着可以同时做大模型、多喂数据、多循环几次，三个方案一起训练。

而且参数效率极高。

一个 1B 参数的循环模型，通过循环 100 次，能达到相当于 100B 参数固定深度模型的"思考深度"。

但显存占用和推理延迟完全不同——这对端侧部署（手机、机器人、自动驾驶）是革命性的。

论文链接：https://arxiv.org/abs/2606.18208

作者：FaceMind Research Asia — Hongyuan Adam Lu, Z.L., Victor Wei 等

你怎么看这个世界模型？欢迎评论区留言。