大模型顿悟原理！Meta新论文说清楚了

Meta 超级智能实验室（FAIR）最新论文终于把顿悟（grokking（延迟泛化））现象的数学机制说清楚了。

什么是 grokking？简单说，模型先死记硬背训练数据，过拟合得一塌糊涂，然后在某个时刻突然开窍，学会了数据背后的真正规律。就像学生背了一堆公式，某天突然明白了背后的原理。

这篇论文提出了一个叫 Li2 的数学框架，把两层神经网络的 grokking 动态过程分成三个阶段：

第一阶段：懒惰学习（过拟合） 训练刚开始时，隐藏层的权重是随机的，产生的特征毫无意义。但输出层不管这些，它就用这些随机特征去拟合目标。有趣的是，即使特征是随机的，只要数量够多，输出层还是能把训练数据拟合得很好——这就是过拟合。

此时反向传播到隐藏层的梯度基本是噪声。为什么？因为如果没有权重衰减，输出层能完美拟合数据，误差为零，梯度自然也是零。隐藏层收不到有用的学习信号，所以几乎不更新。

第二阶段：独立特征学习 权重衰减改变了游戏规则。它让输出层无法完美拟合，总会留下一些误差。这个"泄露"的误差恰好携带了目标标签的结构信息。

更神奇的是，反向传播梯度的结构让每个隐藏节点能够独立学习。每个节点都在最大化一个能量函数 ℰ，这个函数衡量的是节点激活与目标标签的相关性。论文证明，这个看似复杂的学习过程，本质上就是在做非线性的典型相关分析（CCA）。

在群算术任务上，能量函数的局部最大值有着优美的数学结构。对于模加法，这些局部最大值正好对应傅里叶基——每个节点学会一个特定频率的正弦或余弦函数。对于更复杂的群，对应的是群的不可约表示。

第三阶段：交互特征学习 当隐藏层开始学到一些特征后，节点之间的相互作用变得重要起来。论文发现了三种关键机制：

1. 特征排斥：如果两个节点学到了相似的特征，它们会相互排斥，促进特征多样性。这是通过 ridge 回归的逆矩阵结构自然产生的。
2. 自上而下的调节：当一部分特征已经学会后，反向传播梯度会自动调整，让模型专注于学习还缺失的特征。比如，如果低频傅里叶基已经学会了，梯度会引导其他节点去学习高频成分。
3. 优化器的作用：Muon 优化器通过奇异值分解去除梯度的幅度信息，只保留方向。这能抑制已经被多个节点学会的特征方向，鼓励探索新特征。

泛化的缩放定律

论文最重要的贡献之一是推导出了精确的缩放定律。要保持这些可泛化的局部最大值稳定，需要的训练样本数是 n ≳ M log(M/δ)，而不是全部的 M² 个样本。

实验完美验证了这个预测。当训练数据比例达到临界值时，会出现明显的相变：

• 低于临界值：模型只能记忆，测试准确率接近 0
• 高于临界值：模型学会泛化，测试准确率跳到 100%

记忆的两种形式

论文还区分了两种不同的记忆：

1. 聚焦记忆：当使用平方激活函数时，模型会把所有权重集中在概率最大的样本对上。
2. 分散记忆：当使用 ReLU、SiLU 等实际激活函数时，权重会分散到多个样本对上，分配比例与样本概率相关。

为什么这些发现重要？

首先，它解释了一些反直觉的现象。比如，在数据有限时，小学习率反而更容易泛化。这是因为小学习率让优化轨迹停留在可泛化特征的吸引域内，而大学习率可能跳到记忆解。

其次，它从第一性原理解释了为什么某些技术有效。权重衰减不只是防止过拟合的正则化手段，它是触发特征学习的必要条件。Muon 优化器的成功也不是偶然，它的数学结构天然适合促进特征多样性。

最后，这个框架可以扩展到更深的网络。在多层网络中，学习像接力赛一样从底层向上传递。只有当底层学会了有意义的特征，上层才能开始有效学习。残差连接之所以有用，是因为它让顶层的清晰梯度信号能直接传到底层。

大模型“顿悟”一直是个玄学，在在此之前只能怀着大力出奇迹的信念去探索。在笔者书《》中，也称其为最为神奇的现象，这就是一种智能涌现。而Meta将这个神秘现象变成了可以精确分析的数学过程，把玄学变成了科学。

论文链接：https://arxiv.org/abs/2509.21519