英伟达 Nemotron 3 Super ：吞吐量暴涨 7.5 倍的系统级狂飙，算法与硬件的极致协同

突破内存与通信墙：Agent推理新物种

在大语言模型（LLM）加速迈向 Agentic（智能体化）的今天，行业面临着两个极为致命的物理瓶颈：一是长上下文推理时，标准 Transformer 的注意力机制带来的 复杂度会导致 KV Cache 显存爆炸；二是分布式 MoE 模型在推理时，节点间 All-to-All 的路由通信和庞大的参数加载，会死死卡在“内存带宽”这堵墙上。

英伟达最新放出的 Nemotron 3 Super（总参数 120B，激活参数 12B）正是为了撞碎这两堵墙而生的。这篇论文并非单一算法的创新，而是一场教科书级别的算法与硬件协同设计（Algorithm-Hardware Co-design）。它交出的答卷极其残暴：在与 GPT-OSS-120B、Qwen3.5-122B 保持同等精度（甚至在 SWE-Bench 等 Agent 任务上更优）的前提下，在 8k 输入 / 64k 输出的场景中，推理吞吐量分别飙升了 2.2 倍和惊人的 7.5 倍。对于极度渴望降低长程大模型 API 成本的从业者来说，这是一个必须被深度拆解的标杆。

LatentMoE：在降维隐空间实现专家爆炸

全文最漂亮的设计之一，是重新思考了 MoE 架构的扩展逻辑。在追求吞吐量的在线服务中，分布式 MoE 的推理瓶颈并非计算量（FLOPs），而是路由通信量，其规模正比于 （其中 为隐层维度， 为激活专家数）。常规思路为了涨点拼命增加 ，但这会瞬间撑爆通信带宽。

Nemotron 3 Super 引入了 LatentMoE：既然神经网络的表征通常具有低秩（Low-Rank）特性，不如先引入降维矩阵 ，将输入 Token 投影到低维隐空间 （其中 ）。Token 在隐空间内完成路由和专家前馈网络（FFN）的计算后，再通过升维矩阵 还原。

关键的系统级 insight 在于：这省下来的通信带宽和显存加载开销，被作者全数用来同比例增加专家总数 和激活专家数 。

在计算和通信成本几乎不变的情况下，专家组合的解空间呈指数级爆炸。这种利用维度压缩换取组合多样性的做法，完美兼顾了 Accuracy per Parameter 和 Accuracy per Byte。

骨架重塑：Mamba穿插注意力与原生MTP

在宏观骨架上，Nemotron 3 Super 采用了 88 层的混合架构。其主体是 Mamba-2 状态空间模块，它在时间步上进行 的状态更新，彻底避免了 KV Cache 随序列长度的线性堆积，这是模型在 64k 超长输出下吞吐量碾压竞品的核心盘。但纯 Mamba 容易在长距离复杂逻辑中“失忆”，因此模型在特定层穿插了少量的 Self-Attention 作为“全局锚点（Global Anchors）”，强制建立全 Token 的关联。

除此之外，模型原生集成了多 Token 预测（MTP）以支持推测解码（Speculative Decoding）。传统的 MTP 使用独立预测头，这导致模型在自回归生成 Draft 时会遭遇严重的“训练-推理分布偏移”，Draft 越深接受率越低。Nemotron 给出的解法是跨时间步的共享权重 MTP 头。这本质上引入了一种动力学正则化（Dynamical Regularization），迫使同一个网络必须学会在自身生成的轨迹上保持鲁棒。实验证明，在 Draft 深度达到 7 时，其接受率甚至超越了 DeepSeek-R1。

榨干硬件算力：25T规模下的FP4工程闭环

这篇论文在工程落地上的另一大壮举，是首次证明了 120B 大模型在 NVFP4（4-bit 浮点数）极低精度下完成 25 Trillion Token 预训练的系统可行性。但低精度训练充满了“雷区”。

一个极其反直觉的消融实验发现揭示了核心难点：当团队试图将 Mamba 的 SSM Cache 从 FP32 降级为 FP16 存储时，模型生成的代码长度竟然异常暴增了 40%（Verbosity 现象）。 其根本原因在于 Mamba 的循环状态更新是一个累加动态系统：

其中 为量化误差。常规的就近舍入（RTNE）会带来单向的系统偏置，随着序列生成，误差被相干放大，导致宏观上的状态漂移。英伟达团队极其老道地引入了随机舍入（Stochastic Rounding, SR），利用其期望无偏的数学特性，将系统漂移转化为了零均值的白噪声，不仅保住了精度，更直接解决了长文本生成的发散问题。

长序列Agent利器：PivotRL破解训练成本

为了让模型具备顶级的软件工程能力（如解决 Github Issue），不可避免地需要进行长程任务强化学习（SWE-RL）。但在极其复杂的 Docker 沙箱环境中做端到端 RL，试错成本极高，且极易导致模型在非目标领域（OOD）能力退化；而传统的 SFT（监督微调）又无法让模型学到错误恢复能力。

文章提出了一种非常巧妙的 PivotRL（锚点强化学习） 范式。它并非从零开始让模型在环境中乱撞，而是复用离线 SFT 的专家轨迹，但只在模型策略表现出高不确定性的“转折点（Pivots）”进行强化学习干预。通过对齐领域奖励（Reward）而非死板的字符串匹配，模型学会了如何采取“等效作用”的行动。这极大降低了环境交互的样本复杂度，使得模型在 OpenHands 评测中狂砍 60.47% 的惊艳成绩。

深度捆绑硬件生态，但也定义了工业新标杆

以挑剔的视角来看，这篇论文描绘的蓝图对非英伟达体系的玩家并不友好。其极致的性能高度依赖 NVIDIA 的闭环生态——从 TransformerEngine 对 NVFP4 的深度定制，到 AutoQuantize 基于 Hessian 矩阵的算子级混合精度搜索，再到利用 Blackwell 架构的硬件级随机舍入指令。此外，论文在披露 1K GPU 异步 RL 训练时，直言遭遇了大量端口绑定的竞态条件（TOCTOU race conditions），这也侧面印证了当前大模型长程强化学习的底层基建依然脆弱。

但这并不妨碍它成为大模型系统架构的里程碑。它向所有从业者证明，单纯在算法公式上“拧螺丝”已经不够了。

不要在算法上死磕，软硬件协同的极限压榨才是打破大模型能力天花板的唯一解。