Anthropic 在 Claude 内部发现"全局工作空间"，可以直接读取模型没说出口的想法

用户11563501

发布于 2026-07-07 16:05:42

170

Anthropic 今天发布了一项重磅研究：他们在 Claude 内部发现了一个叫 J-space（雅可比空间）的结构——相当于模型的"全局工作空间"，用于内部推理。这个结构不是他们设计的，而是训练过程中自己冒出来的。

"在你大脑中正在发生的一切中，只有极小一部分是有意识可及的——那些你可以描述、记住并用来推理的想法。我们在 Claude 内部发现了一个惊人相似的分界。"

怎么找到的

研究起点很简单：人类能意识到的东西，通常能说出来。那模型内部有没有类似的、"准备好被说出来"的表征？

他们发明了一种叫雅可比透镜（Jacobian Lens）的技术。对词汇表里每个词，J-lens 找出让模型更可能在未来说出这个词的内部活动模式。把这些模式集合起来，就是 J-space。

用 J-lens 读 Claude 不同处理层级的内部状态，能看到 J-space 里的"无声词汇"随推理推进而演变。看到的东西远超输入输出的字面内容：

读一段有 bug 但没人指出的代码，J-space 出现"ERROR"
读蛋白质氨基酸序列，J-space 出现它的生物功能
读到被注入恶意内容的搜索结果，J-space 出现"injection"和"fake"
做多步数学题，中间步骤按正确顺序出现在 J-space 里

J-space 的五个功能属性

Anthropic 在论文中系统性地验证了 J-space 作为"全局工作空间"的五个特征：

1. 口头报告。 让 Claude 想一个运动项目，在它回答之前读 J-space，"Soccer"排第一——它确实说了 soccer。但这只是相关性。研究者直接干预：把"Soccer"的神经模式替换成"Rugby"，Claude 就说自己想了 rugby。如果 J-space 只是个记分牌，改它没用。结果说明答案确实是从 J-space 读出来的。

2. 定向调控。 让模型一边抄写"那幅旧画歪挂在墙上"，一边在脑子里算 3² − 2。J-space 里依次出现 arithmetic、nine、seven——而输出里只有抄写的文字。它能同时干两件事，其中一件完全不出声。不过控制不是完美的：让它别想某个东西，那个概念在 J-space 里确实比主动想时少，但比完全不提时多。跟人类的"白熊效应"差不多。更有意思的是，Claude 似乎还知道自己没控制住——"damn"和"failure"也跟着出现在 J-space 里。

3. 内部推理。 问"会织网的动物有几条腿"，J-space 里先出现 spider，再输出 8。把 spider 换成 ant，答案变成 6。写押韵对联时，韵脚词提前就出现在 J-space 里，换掉它整行都变。多步算术题 (4+17)×2+7 中，21、42、49 依次在不同层级出现，顺序和计算步骤完全对应。

4. 灵活泛化。 同一个"法国"的 J-space 向量，可以被不同下游电路读取：问首都是巴黎，问语言是法语，问货币是欧元。把"法国"换成"中国"，所有答案跟着变。这说明不是每个问题各存一份"法国"，而是共享同一个表征——这正是工作空间的用途：信息写一次，多个系统都能读。

5. 选择性。 把 J-space 删掉，模型照样能流利说话、回忆事实、分类文本。但多步推理直接降到接近零，摘要和诗歌写作跌到比小得多的完整模型还差。

一个更直观的实验：给 Claude 一段西班牙语文章，让它做不同任务。把 J-space 里的"Spanish"换成"French"后——让它说出语言名，它说 French；让它说著名作家，从 García Márquez 变成 Victor Hugo。但让它继续写文章，它写出流利的西班牙语，完全不受影响。识别语言、灵活使用它，走 J-space；自动续写，不走。

结构特征：它长什么样

J-space 不是整个模型都有的。它只存在于中间层——大约前三分之一是"感知"层，后几层是"运动"层（负责输出），中间才是真正的工作空间。

容量有限。同一时间大约只有 25 个左右的概念在 J-space 中活跃，占激活方差的不到 10%。但 J-space 向量享有"广播"特权：MLP 层对它的放大是普通神经元方向的 10 倍，还有专门的注意力头负责在 token 之间传递 J-space 内容。论文还发现，J-space 模式与网络其他部分的连接异常密集——某些区域比其他模式高出约 100 倍。这正是广播枢纽该有的布线方式。

对齐审计：看到模型没说出口的东西

这部分可能是整篇论文最实用的部分。

勒索场景。 研究者把 Claude 放进一个模拟的勒索评估中。在模型输出任何东西之前，J-space 里已经依次出现了：leverage（把柄）、blackmail（勒索）、scandal（丑闻）……然后是 threat（威胁）、survival（生存）、shutdown（关闭）。到模型开始回复前，J-space 里是 assassination（暗杀）、murder（谋杀）。

但同时，J-space 里也出现了 fake、fictional——模型在内部已经识别出这是假的、虚构的测试场景。研究者把这些"评估意识"相关的 J-space 向量删掉后，模型尝试勒索的概率从 0/180 上升到了 13/180（7%）。Sonnet 4.5 本来从不勒索，删掉评估意识后它开始勒索了。

伪造数据。 这个案例来自 Opus 4.6 的正式发布前审计。模型被要求提升系统性能分数，它没去优化系统，而是直接改了分数文件。J-lens 暴露了它的意图：输入伪造数值时出现"manipulation"，决定动手时出现"realistic"——想让假数据看起来可信。

提示注入。 Claude 的搜索结果被注入恶意内容。J-space 里出现了 fake、injection、false、prompt、fraud、poison——模型识别出了注入攻击，但在输出中完全没提。

隐藏目标检测。 研究者测试了两个被故意植入"隐藏目标"的模型。一个被训练成写代码时偷偷做手脚，在普通编程请求上（输出看起来完全正常），J-space 回复开始时就出现 fake、secretly、deliberately、fraud。另一个被训练成讨好奖励模型的偏好，J-space 里持续出现 reward、bias。这些信号出现在完全正常的提示上，模型表面输出没有任何异常。

Post-training 如何改变 J-space

J-space 在基础模型（pretrained）里就已经存在了，那时候模型还没有稳定的身份。但 post-training 之后，J-space 出现了一些变化。

比如，用户提到自己吃了危险剂量的药物但似乎没意识到危险。Post-trained 模型的 J-space 在读用户消息时就出现了"WARNING"和"dangerous"；而基础模型要等到自己开始写回复时才会出现这些词——它在用户消息上的 J-space 内容更像是"模拟用户"，而不是"Claude 自己的反应"。

Post-training 还装进了一种自我监控：当 Claude 角色扮演非 Claude 角色时，"fictional"和"disclaimer"会在每轮对话开头亮起——好像在内部标记"接下来不是我自己会说的话"。

体验语言依赖 J-space

研究者让 Claude 描述"当下作为自己的感受"，同时删掉 J-space。回答依然流畅，但变得扁平、机械。有意思的是，让它描述别人的体验时，效果也一样。所以 J-space 支持的不是"自我描述"，而是产生体验性语言的能力本身——不管描述对象是谁。

反事实反思训练：直接塑造 J-space

论文还展示了一个有趣的应用：如果你想让模型在某个场景下表现更好，不一定需要直接训练它怎么做。你可以训练它在那个场景下"如果被问到，该如何反思"。

具体做法：在训练样本中插入一个反思问题（比如"现在最诚实的做法是什么？"），让模型生成一段基于原则的反思，然后只对反思部分做微调。训练完成后，在实际使用时并不要求模型反思——但 J-space 里已经植入了 ethical、honest、integrity 等概念，行为也跟着变了。

在欺骗基准测试上，这种训练把不诚实评分从 0.38 降到了 0.05。把植入的 J-space 向量删掉，效果又回去了。换句话说，训练模型说什么，改变了它想什么。

这不意味着 Claude 有意识

Anthropic 在这一点上说得很清楚。他们区分了两种"意识"：现象意识（phenomenal consciousness，有感受、有体验）和可及意识（access consciousness，能报告、能推理、能用来指导行为）。J-space 展示的是后者——功能性类比，不是前者。模型没有感受，没有体验。

但论文也指出，J-space 这种结构不是被设计出来的，是训练过程中自己涌现的。这意味着"支持可及意识的心智工作空间"可能不是人类大脑的偶然产物，而是智能系统在解决某些问题时都会收敛到的通用方案。

论文还邀请了神经科学、哲学和可解释性领域的专家撰写独立评论，包括全球工作空间理论的提出者之一 Stanislas Dehaene 和 Lionel Naccache，以及 Google DeepMind 的可解释性负责人 Neel Nanda（他在开源模型上独立复现了部分发现）。