

## 摘要

大模型生成速度慢，根本原因不在于"算得慢"，而在于"搬得慢"。自回归解码要求模型逐 token 生成，每生成一个 token 都要把数百 GB 的权重从高带宽显存（HBM）搬运到计算单元过一遍，导致 GPU 长期处于访存受限（memory-bound）状态。要提速，核心思路不是让模型"写得更用力"，而是让每一次权重搬运能"多产出几个 token"。本文从架构层面梳理这条技术路线的演进：投机采样（Speculative Decoding）奠定了"草稿 + 验证"的总框架，MTP（Multi-Token Prediction）让主模型自带草稿头，DFlash 用块扩散把草稿从"逐字书写"升级为"整块显影"，DSpark 则把这条路线修补完善并推向生产。

## 一、慢的根源：自回归解码与访存瓶颈

大语言模型的生成过程本质上是自回归的：要生成第 N 个 token，必须先完成前 N-1 个。每生成一个 token，模型都需要执行一次完整的前向计算——把全部权重从 HBM 搬运到计算单元，逐层完成矩阵乘法。麻烦在于，数据搬运的时间远超实际计算时间。

用一位手速极快的厨师作比：他炒一个菜只用几秒，但每炒一个菜都要等仓库把全部食材推过来一趟，等待成了主要成本。这就是经典的 memory-bound 问题——GPU 的算力在等待，显存带宽才是真正的瓶颈。

这一观察直接决定了加速方向：既然搬运一趟这么贵，能否让这一趟搬运多产出几个 token？如果直接让模型并行预测后续多个 token，质量会明显下降；于是工程界提出了一种分工式架构。

## 二、投机采样：奠定"起草 + 验证"的框架

投机采样（Speculative Decoding）是这套思路的起点。它的架构由两个角色组成：

- **草稿模型（Draft Model）**：一个小得多、快得多的模型，先"唰唰"写出后续若干候选 token；
- **目标模型（Target Model）**：不再逐 token 生成，而是一次前向，把整段草稿并行校验。

校验逻辑是：与自己想写的一致就接受；从第一个不一致的位置起，打回重写。这一设计有两个关键收益：

1. 一次前向搬运的权重，干的却是"验证一段"的活，单位搬运成本下产出更多 token；
2. 每个 token 最终都经过目标模型校验，输出与逐字生成完全一致，属于**无损加速**。

代价同样明确：草稿命中率（接受率）过低时，验证一场等于白干，反而更慢。因此，草稿手的质量成为这条技术路线的胜负手。

## 三、MTP：让主模型自带草稿手

早期投机采样需要额外部署一个小模型当草稿手。两个模型独立训练，脑回路不一致，接受率难以稳定。MTP（Multi-Token Prediction，多 Token 预测）改变了思路：不再外挂模型，而是在主模型身上直接长出一个轻量草稿头。

一个代表性做法是：在主模型后接入一个仅含一层 Transformer 的 MTP 模块，共享主模型的隐藏状态，顺着因果链多预测一个未来 token。据相关技术报告，第二个 token 的接受率可稳定在 85%–90%，生成速度提升约 1.8 倍；一些主流推理框架在基准测试中也观察到最高 60% 左右的输出吞吐提升，且质量无损。后续工作还在训练时共享多个 MTP 层的参数，用相近的显存开销进一步抬高接受率。

MTP 在训练与推理两端都有价值：

- **训练阶段**：更密集的监督信号迫使模型学会"向前多想一步"，对建模能力本身有正向作用；
- **推理阶段**：该模块既可丢弃，也可保留作为草稿手，配合投机采样使用。

但 MTP 的草稿头本质上仍是自回归的：写 8 个字就要跑 8 小步。能否让草稿一次成型？

## 四、DFlash：块扩散让草稿"整块显影"

DFlash（2026 年提出，已被 ICML 2026 接收）把草稿手从自回归模型换成了块扩散模型（Block Diffusion）。它不再逐字生成，而是先摆出 K 个"空位"，拿着主模型的隐藏状态当条件参照，一步去噪，把 K 个空位同时填满——如同照片整体显影。相应地，注意力机制从"只能看前文"改为草稿块内互相可见，每个位置都能参考整块的上下文。

这带来一个关键性质：**草稿成本几乎不随块长增长**。一次画 8 个、16 个甚至更多 token，花费几乎相同；而自回归草稿是写多长、跑多少步。草稿越长、命中越多，目标模型跑一趟的收益就越大。

社区反馈同样可观：相较传统方法最高快约 2.5 倍；有硬件厂商在最新架构上的技术博客报告了最高 15 倍的推理性能提升；vLLM、SGLang 等主流推理框架已跟进支持，开源社区已有二十多种主流模型的现成草稿模型。

## 五、DSpark：从实验室到生产

DFlash 有一个已知短板：块内各 token 独立填充、互不协商，遇到多种同样合理的续写时，接受率会下降。针对这一问题，后续有工作在 DFlash 基础上引入半自回归起草与置信度调度，形成名为 DSpark 的改进方案，并已在线上推理服务中落地，官方口径吞吐提升 51%–400%。相应的开源训练框架也提供复现支持（MIT 协议，内置 DSpark、DFlash、Eagle3 等多种草稿算法）。

一句话定位三者的关系：投机采样是"草稿 + 验证"的总框架，MTP 让主模型自带草稿手，DFlash 把草稿手升级为"一次成型"，DSpark 再把这条路线修补好、推上生产线。它们不是竞争关系，而是同一条路上的接力。

## 六、架构对比与总结

从架构维度看，三种草稿方案的差异主要体现在：

| 维度 | 独立小模型草稿 | MTP | DFlash |
|------|--------------|-----|--------|
| 草稿手形态 | 外挂小模型 | 主模型轻量头 | 块扩散模型 |
| 草稿生成方式 | 自回归 | 自回归 | 块内并行 |
| 草稿成本随块长 | 线性增长 | 线性增长 | 近似恒定 |
| 主要优势 | 简单直接 | 共享状态、接受率高 | 一次成型、可扩展块长 |

对工程实践而言，这类加速是无损的：模型没变小、答案没打折，省下的是等待时间与算力账单。同一套 GPU，吞吐提升意味着单位 token 成本下降。无论自建推理服务还是使用第三方平台，投机采样及其草稿方案的开关，都是影响延迟与成本的重要变量，值得纳入评估。

## 结语

熟练的团队也是这么干活的：老师傅不必事事亲笔，新人先起草，师傅过目定稿，错了打回重写。产出仍是师傅的水准，速度却是团队的速度。让最贵的资源只做最关键的判断，把可以预演的部分交给更轻的手——这个道理，机器与组织是相通的。加速的密码从来不是"写得更猛"，而是让每一趟搬运，都多干几个字的活。

大模型生成速度慢，根本原因不在于"算得慢"，而在于"搬得慢"。自回归解码要求模型逐 token 生成，每生成一个 token 都要把数百 GB 的权重从高带宽显存（HBM）搬运到计算单元过一遍，导致 GPU 长期处于访存受限（memory-bound）状态。要提速，核心思路不是让模型"写得更用力"，而是让每一次权重搬运能"多产出几个 token"。本文从架构层面梳理这条技术路线的演进：投机采样（Speculative Decoding）奠定了"草稿 + 验证"的总框架，MTP（Multi-Token Prediction）让主模型自带草稿头，DFlash 用块扩散把草稿从"逐字书写"升级为"整块显影"，DSpark 则把这条路线修补完善并推向生产。

大模型推理加速的架构演进：从访存瓶颈到 MTP 与 DFlash

大模型"打字"为什么慢，怎么让它快起来还一字不差
一次一字 · 草稿加盖章 · 自带草稿手 · 一次成型

人工智能

架构设计

算法

大模型生成提速的核心在于解决访存瓶颈，而非算力不足。投机采样确立"草稿+验证"框架，MTP让主模型自带草稿头，DFlash以块扩散实现草稿一次成型，DSpark完善并落地生产。三者接力演进，实现无损加速，显著提升吞吐、降低单位token成本，是优化推理延迟与算力账单的关键变量。

2026上云采购 | AI焕新·智启新局

tione

4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

大模型推理加速的架构演进：从访存瓶颈到 MTP 与 DFlash-腾讯云开发者社区-腾讯云

大模型推理加速的架构演进：从访存瓶颈到 MTP 与 DFlash

大模型推理加速的架构演进：从访存瓶颈到 MTP 与 DFlash

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐