手撕 GPT#08：你已经能训练模型了——接下来“撕”什么？

7 篇文章，从"训练模型是什么都不知道"到"亲手训练了一个能说中文的 GPT"。

走到这儿，你已经不零基础了。但你可能不确定自己到底学会了什么，也不知道接下来该往哪走。

这篇不长。一半总结，一半展望。

你现在会了什么？

7 篇走下来，你跨过了几道坎。

▪ 坎 1："训练模型"不再神秘

你不再觉得"训练"是个黑箱。

316 万个随机数字，通过"猜 → 算错多少 → 找谁该负责 → 调一下"这个循环，重复 5000 次，从乱码变成说人话。

这个过程没有什么玄学。损失函数下降的曲线，就是模型从"胡猜"到"有依据地猜"的证据。

你亲眼看过的。

▪ 坎 2：Transformer 不再天书

你读过 193 行完整训练一个大模型的代码，知道 GPT 的流水线：

分词 → 词嵌入 → 位置编码 → 注意力 → 前馈网络 → 输出

每一步干什么，代码怎么写的，你都知道。注意力让每个词"看"其他词，因果掩码让模型只能看前面的词——不是死记硬背的概念，是你跑过的代码。

▪ 坎 3：你踩过训练中最大的坑

训练分数高 ≠ 模型好。改数据一行 > 改架构一整轮。小模型有容量天花板，超了就忘。

这三个坑，上一篇用四个实验验证了。

seq_len 翻倍训了 8 倍时间，效果反而更差。加了 105 条新数据，旧知识被挤掉了。课程学习？小模型直接把最短答案钉死了。

这些不是书本上的知识，是你花时间跑出来的教训。

▪ 坎 4：你跟上了主流架构

Llama 比 Transformer 改了 5 个地方：GQA、SwiGLU、RMSNorm、RoPE、权重共享。每一个都是为了解决一个具体问题。

RoPE 我们的项目里用了。GQA 是分组查询注意力，减少 KV 缓存的显存占用。SwiGLU 替换 ReLU 激活函数，梯度更平滑。这些不是名词解释，你知道它们解决了什么问题。

▪ 坎 5：你亲手跑通了

不是看别人做。是你自己：装环境 → 训练 → 验收 → 问模型问题。

图片

图片

从零到跑通，全程你的手敲的命令。

说实话，做到这一步的人不多。大多数人看完论文就走了，能自己动手跑通的，十个里面不到一个。

你是不是也发现了一件事：跑通之后回头看论文，很多东西突然就懂了。不是因为论文写得好，是因为你有了体感。

这 5 道坎，就是"从零基础到理解模型训练"的完整路径。跨过了，你看任何 LLM 论文、任何开源模型代码，都不会觉得是天书。

但是，3M 模型的天花板还在

上一篇我们已经证明：3M 参数的模型，瓶颈在容量。不管怎么调参、加数据、改训练策略，12 个主题的记忆上限就摆在那里。

那接下来怎么办？有三条路可以走。

▪ 路线一：知识蒸馏

找个大模型当老师，让它教小模型。

思路很直觉：大模型知道的多，小模型学得快，让大模型把知识"传授"给小模型。Industry 里确实有成功的案例——DistilBERT 把 BERT 压缩了 40%，只掉了 3% 的性能。

听起来是最靠谱的路。我们也是这么想的。

▪ 路线二：增大模型

上一篇证明了 3M 不够，那直接把模型做大？从 3M 到 30M、100M，容量上去了，能学的东西自然多了。

但"直接做大"带来的问题是：训练成本、推理成本、部署成本全部上涨。你需要更大的 GPU、更多的时间、更多的电费。小模型的意义就不存在了。

▪ 路线三：不改训练，改推理

上一篇里唯一成功的方向就是这条路——多轮对话。不改模型权重，只改推理和 UI。

这条路的天花板也很明显：推理层优化能改善体验，但不能让模型学到新知识。

我们选了路线一：知识蒸馏

三条路里，蒸馏看起来投入产出比最高：不改训练框架，加一个 teacher 模型就行。

下一篇文章，记录的就是我们做蒸馏的完整过程——选了哪些 teacher，做了哪些实验，碰了哪些钉子。

剧透：三个方向全部失败。 但失败本身比成功更有价值。

⚠️ 踩坑提醒：学 AI 最容易犯的一个错——从大模型开始学。大模型跑一次要几小时、几十块，你不敢随便改参数试错。小模型 20 分钟跑完，随便折腾，错了也不心疼。学东西，要在能快速试错的环境里学。

💡 一句话带走：会训练模型只是起点，知道天花板在哪里，才能选对下一步。

这是「手撕 GPT」系列第 8 篇。