用 PyTorch 从零实现 Kimi K3

文章来源：企鹅号 - 科技重映像

最近在折腾模型复现，试着用 PyTorch 从零把 Kimi K3 给搭了出来。整个过程没有依赖现成的封装库，而是从最基础的模型结构、注意力机制到训练流程都自己写一遍。Kimi 是月之暗面推出的系列大模型，K3 作为其较新的版本，在架构和推理效率上都有不少值得研究的地方。动手实现一遍之后，对它的设计思路和理解确实比单纯调 API 要深很多，也算是一次很扎实的练手项目。