
## 1. 核心结论

AFD（Attention-FFN Disaggregation）把 vLLM 运行时拆成两个职责不同的服务：
- Attention Role 仍然是标准 vLLM 请求入口，保留 API Server、Scheduler、请求生命周期、KV Cache、批处理、Attention、采样和 token 输出。
- FFN Role 不接收用户请求，不维护 KV Cache，也不参与采样。它由 Connector 驱动，循环接收 Attention 激活值，执行对应层的 Dense FFN 或 MoE 专家计算，再把结果返回 Attention。
- Connector 同时承担控制面和数据面：控制面传输 DP token 数、ubatch、graph capture/warmup 等执行信息；数据面负责 Attention 激活值的 A→F 传输和 FFN 输出的 F→A 返回。
- 模型封装在 Transformer layer 内定义切分点。每一层通常按照 Attention -> send A2F -> FFN -> recv F2A -> 下一层 Attention 执行。

AFD 让 Attention 和 FFN 使用不同的 rank 数、并行拓扑和硬件资源独立扩展。Attention 容量主要受请求状态、序列长度、KV Cache 和已有 Attention 计算影响；FFN/MoE 容量主要受 token 路由、专家计算和 All-to-All 通信影响两者的最佳资源配比通常不同。
## 2.AFD 如何接入 vLLM

###2 .1 AFD Plugin入口

pypojnnect.toml注册：
```请在此输入代码块语言
[project.entry-points."vllm.general_plugins"]
afd = "afd_plugin:register_afd"
```
vLLM register_afd()主要执行：
1. 检查当 vLLM 通用能力；仓库当前精确绑定 0.19.1。
2. 安装 EngineCore、配置校验、Async DP 和 Ascend 兼容补丁。
3. 注册 DBO yield 自定义算子。
4. 在 Ascend 环境加载 vLLM-Ascend 补丁和自定义算子。
5. 使用 ModelRegistry.register_model() 注册 AFD 版 DeepSeek/GLM MoE 模型类。

因此 AFD 是 out-of-tree plugin，不要求修改 vLLM 源码，但会对少量 vLLM 内部接口做按版本锁定的 monkey patch。
### 2.2 additional_config 和 Worker 自动选择

Attention 和 FFN 都通过 vllm serve 启动，配置位于 additional_config["afd"]：
```请在此输入代码块语言
{
  "afd": {
    "role": "attention",
    "connector": "P2pNcclAFDConnector",
    "host": "127.0.0.1",
    "port": 6239,
    "num_attention_ranks": 4,
    "num_ffn_ranks": 2,
    "compute_gate_on_attention": false
  }
}
```
插件根据 role、平台和 Connector 自动选择 Worker：
```请在此输入代码块语言
GPU Attention -> AFDAttentionWorker
GPU FFN       -> AFDFFNWorker
NPU Attention -> AFDNPUAttentionWorker
NPU FFN       -> AFDNPUFFNWorker
```
### 2.3 Attention Role 保留原生 vLLM 主链路

AFDAttentionWorker 继承 vLLM Worker，设备初始化先调用上游 Worker.init_device()，随后替换为 AFDAttentionModelRunner。
AFDAttentionModelRunner 继承 GPUModelRunner，只在关键边界插入 AFD 行为：
- 创建 Connector。
- 从 DPMetadata 和 ubatch slice 构造 AFDControlPayload。
- 把 AFDForwardContextMetadata 放入 ForwardContext.additional_kwargs["afd_metadata"]。
- 在正式 graph capture 前发送控制面信息，避免不可重放通信进入 Graph。
- 模型 forward、KV Cache、InputBatch、Scheduler、采样和最终输出继续走 vLLM 原生路径。

用户请求只发给 Attention API Server，Attention Role 是服务主控端。
### 2.4 FFN Role 是 Connector 驱动守护进程

AFDFFNWorker 主动禁用普通推理职责：
- get_kv_cache_spec() 返回空字典，不分配 KV Cache。
- compile_or_warm_up_model() 不走普通 vLLM warmup。
- scheduler 调用 execute_model(scheduler_output) 会直接报错。
- 初始化完成后启动 afd-ffn-worker-loop。

同步 Connector 下，FFN 循环：
```请在此输入代码块语言
recv_dp_metadata_list()
  -> 根据元数据选择 eager / warmup / capture / replay
  -> 每一层、每个 ubatch recv_attn_output()
  -> model.compute_ffn_output(hidden_states, layer_idx)
  -> send_ffn_output()
```
异步 CAM 没有独立控制面，FFN 直接阻塞在 Connector work item：
```请在此输入代码块语言
recv_ffn_work_item()
  -> 从 CAM dispatch metadata 得到 layer_idx、token 数和 group_list
  -> 执行本地专家
  -> send_ffn_work_item_output()
```
插件对 EngineCore 做版本限定补丁：FFN EngineCore 完成 executor/worker 初始化后不进入请求调度循环，仅负责启动和维护 Connector daemon。
## 3. 模型切分与权重归属

AFDDeepseekV2DecoderLayer 根据 role 只创建必要模块。
Attention Role 持有：
- Attention/MLA、LayerNorm、KV Cache。
- compute_gate_on_attention=true 时，MoE 层额外持有 Gate。
- Gate 前置时，Dense MLP 留在 Attention Role。

FFN Role 持有：
- 默认模式下 Dense MLP。
- 默认模式下完整 DeepseekV2MoE，包括 Gate、Experts、Shared Experts 和原生 EP/All-to-All。
- Gate 前置时仍持有 MoE Experts，但不在 FFN 上计算 Gate。

两侧从同一模型目录启动独立模型加载生命周期，wrapper 根据 role 过滤不属于本角色的模块和权重。
## 4. 标准逐层数据流

默认 compute_gate_on_attention=false：
```请在此输入代码块语言
Attention Role                              FFN Role

input hidden_states
  -> input_layernorm
  -> self_attention / MLA
  -> residual + post_attention_layernorm
  -> send_attn_output(hidden_states)  -----> recv_attn_output()
                                               -> Dense M<- rec_ffn_output()                 <-----
 -> 下一层Attentin
```
## 5. Gate 放在 Attention 还是 FFN

### 5.1 默认模式：Gate 在 FFN

`compute_gate_on_attention=false` 时，Attention 发送归一化后的 hidden states，FFN 侧执行 Gate、top-k 选择和专家计算。GPU `P2pNcclAFDConnector` 与同步 NPU `CAMP2pAFDConnector` 当前都要求使用该模式。
优点是模型职责清晰，FFN 侧可以直接复用现有 MoE/EP 实现；代价是 FFN 侧需要持有 Gate 权重，A2F 之后才能得到路由结果。
### 5.2 Gate 前置到 Attention

`compute_gate_on_attention=true` 时，Attention 侧先计算 router logits、top-k weights 和 top-k ids，再把 hidden states 与路由信息交给 FFN。当前实现只在 NPU 路径支持，公开的 `CAMAsyncAFDConnector` 配置要求开启该选项。
该模式还会改变 Dense 层归属：Dense MLP 在 Attention 本地执行，FFN 侧只处理 MoE 专家。这样适合按专家进行异步 dispatch/combine，但会增加 Attention 侧模型逻辑和权重管理复杂度。
### 5.3 两种模式的选择


| | | |
|:-:|:-:|:-:|
|维度|Gate在FFN|Gate在Attention|
|当前适用 Connector|P2P NCCL、CAMP2P|CAM Async|
|FFN 侧输入|hidden states|hidden states + top-k 路由信息|
|Dense MLP|FFN 侧执行|Attention 侧执行|
|优点|实现简单，复用现有 MoE/EP|便于按专家异步分发，减少 Dense 层远程往返|
|主要代价|路由发生在 A2F 之后|Attention 更重，权重切分和上下文更复杂|
## 6. Connector：控制面、数据面与拓扑

Connector 是 AFD 的边界层。模型只调用统一接口，具体使用 NCCL、HCCL、CAM 还是自定义算子由 Connector 决定。

| | | | | | |
|:-:|:-:|:-:|:-:|:-:|:-:|
|Connector|平台|推荐阶段|模式|Graph|关键约束|
|`P2pNcclAFDConnector`|CUDA|Decode|同步|`FULL_DECODE_ONLY` CUDA Graph|FFN ranks 在前；A ranks ≥ F ranks，且 A/F 必须整除；Gate 必须在 FFN|
|`CAMP2pAFDConnector`|Ascend NPU|Decode|同步|`FULL_DECODE_ONLY` ACL Graph|FFN ranks 在前；当前要求 Gate 在 FFN、`quant_mode=0`|
|`CAMAsyncAFDConnector`|Ascend 910C|Prefill|异步|不支持|Attention ranks 在前；要求 `async=true`；公开路径要求 Gate 在 Attention|
同步 Connector 同时包含：
- **控制面**：传输各 DP rank 的 token 数、ubatch、warmup/capture/replay 状态等执行元数据。
- **数据面**：完成 A2F hidden states 发送和 F2A FFN output 返回。

`CAMAsyncAFDConnector` 没有独立的 control-plane 对象，layer、token 和路由信息随 CAM dispatch payload 传输。Connector 的进程组、通信资源和传输状态由 Connector 自己创建和释放，不应泄漏到 Worker 或模型封装中。
## 7. DBO、Graph 与异步流水

AFD 需要把 vLLM 的执行阶段同步给 FFN。同步路径使用 eager、warmup、capture、replay 四种状态：
- Attention 根据当前批次构造 DP metadata，并发送给 FFN。
- FFN 用 token 数和拓扑生成 graph key。
- capture 前先应用控制状态，避免把不可重放的通信操作录入图。
- 命中 graph 时 replay，未命中时回退 eager。

当前原生 DBO 只支持两个 ubatch。GPU 的 DBO + CUDA Graph 同样限制为两个 ubatch。CAM Async 不支持 vLLM 原生 DBO；它提供的是另一套 AFD 管理的 MoE request-boundary ubatching，目前也固定为两个阶段，不能与 `--enable-dbo` 混用。
这部分最容易出现“功能可跑但图重放错误”的问题。实现时应把通信、上下文安装和 graph capture 边界分开，所有临时 ForwardContext 状态都必须在异常路径恢复。
## 8. 与 vLLM 的兼容边界

- 支持基线为 vLLM `0.19.1`；其他版本未声明兼容。
- 仅支持 vLLM v1 ModelRunner，不支持 model runner v2。
- GPU/NPU 端到端测试需要真实硬件和模型权重，默认 CPU 测试不能覆盖通信、Graph 和精度风险。
- GPU Graph 目前只支持 `FULL_DECODE_ONLY`。
- CAM Async 当前只支持 Prefill；异步 MoE ubatching 不支持 Decode context parallel。
- 模型支持仍以 DeepSeek 系列为主。新增模型不能只注册类名，还需要角色化构建、权重过滤、精度和双角色 E2E 验证。
- Connector factory 虽然支持注册 loader，但配置层仍有内置 Connector allow-list；仅注册 factory 还不足以形成稳定的第三方扩展接口。
- 部分兼容补丁采用 best-effort 加载。关键运行路径必须显式校验，不能把补丁缺失当成可继续服务的状态。

## 9. 公开性能结果应如何解读

### 9.1 同步 Decode：资源配比决定结果

官方同步 recipe 使用 Ascend 910C、DeepSeek-V3.2 W8A8，对比 EP64 与两种 AFD 拓扑。测试启用了强制专家均衡，输入固定为 16K/32K，输出长度为 512～1536；这些条件改变了自然路由，属于吞吐验证，不是精度或生产结果。

| | | | |
|:-:|:-:|:-:|:-:|
|输入|EP64baseline|48A16F|64A16F|
|16K|232.6 tokens/s/die|220.3（-5.3%）|258.9（+11.3%）|
|32K|168.2 tokens/s/die|151.4（-10.0%）|183.3（+9.0%）|
同一套 AFD 代码在 48A16F 上退化，在 64A16F 上提升。这个结果说明 AFD 不是固定收益优化，必须按 Attention 压力、FFN 吞吐和 A2F/F2A 通信成本选择 A/F 比例。
### 9.2 异步 Prefill：结果有明显前提

CAM Async recipe 使用两个 Ascend 910C 节点、DeepSeek-V3.2 W8A8 的前 10 层缩减模型，并开启强制专家均衡；输出长度固定为 1，用于模拟 Prefill。12 RPS 时，中位 TTFT 从 15.1 秒降到 8.0 秒，约下降 47%。
该数据说明异步 dispatch/combine 和两阶段 MoE 流水有潜力降低高负载 Prefill 的等待时间，但它不是完整模型、自然路由、真实输出长度下的通用结论。
## 10. 对 AGICServing 的参考

从 afd-plugin 的实现看，AGICServing 若引入 Attention-FFN 分离，建议保持以下边界：
1. **Attention Runner 尽量复用主运行时。** 请求、KV Cache、调度、采样和输出继续走现有链路，只在 ForwardContext、layer 和 graph 边界插入 AFD 元数据。
2. **FFN Runner 保持最小实现。** 它只需要接收 work item、安装执行上下文、调用 `compute_ffn_output()` 并返回结果，不必复制完整 ModelRunner。
3. **模型封装只处理计算与权重归属。** 通信初始化、进程组生命周期和错误传播不要放进模型代码。
4. **硬件通信统一藏在 Connector 后面。** 上层接口固定为 A2F/F2A 和控制元数据，底层可替换 AGIC P2P、集合通信或异步 dispatch/combine。
5. **版本差异集中在 compat/patch 层。** 每个补丁记录对应的上游版本、函数签名和移除条件，升级时重新对比上游实现。
6. **控制面与数据面分开。** compile/capture 阶段只更新可重放状态，不执行一次性通信；异常和 shutdown 路径必须能够释放阻塞中的 Connector。

首版更适合采用“Gate 在 FFN + 同步 Connector”的方案，先复用现有 MoE/EP 实现，把模型切分、权重加载、A/F 拓扑和正确性跑通。只有在 profiling 明确显示 A2F/F2A 或 Prefill 排队成为主要瓶颈后，再考虑 Gate 前置、按专家 dispatch/combine 和异步流水。
性能验收不应只比较单次吞吐。至少要同时记录：A/F rank 比例、每 rank batch、输入/输出长度分布、A2F/F2A 字节量、Connector 等待时间、FFN 计算时间、EP All-to-All 时间、TTFT、TPOT、吞吐/卡和精度结果。
## 11. 参考资料

1. [vLLM AFD Plugin 仓库](https://github.com/vllm-project/afd-plugin)
2. [项目 README](https://github.com/vllm-project/afd-plugin/blob/main/README.md)
3. [Plugin boundary](https://github.com/vllm-project/afd-plugin/blob/main/docs/design/module/plugin_boundary.md)
4. [Attention runtime](https://github.com/vllm-project/afd-plugin/blob/main/docs/design/module/attention_runtime.md)
5. [FFN runtime](https://github.com/vllm-project/afd-plugin/blob/main/docs/design/module/ffn_runtime.md)
6. [Connector contracts](https://github.com/vllm-project/afd-plugin/blob/main/docs/design/module/connector_contracts.md)
7. [Model integration](https://github.com/vllm-project/afd-plugin/blob/main/docs/design/module/model_integration.md)
8. [Execution platforms](https://github.com/vllm-project/afd-plugin/blob/main/docs/design/module/execution_platforms.md)
9. [部署与性能 recipe](https://github.com/vllm-project/afd-plugin/tree/main/recipe)
10. [vLLM AFD Plugin 发布介绍](https://mp.weixin.qq.com/s/UpbZf12Ap-mNJfKe2GsLLw)

AFD（Attention-FFN Disaggregation）把 vLLM 运行时拆成两个职责不同的服务：

vLLM AFD分离

主要介绍vLLM如何实现AFD（Attention、FFN分离部署）

AI Infra工程师

人工智能

AFD技术将vLLM运行时拆分为Attention和FFN两个独立服务，实现资源弹性扩展。AttentionRole处理请求调度、KVCache和采样，FFNRole专注DenseFFN/MoE计算。通过Connector实现控制面和数据面通信，支持不同硬件拓扑配置。该方案无需修改vLLM源码，通过插件机制实现，显著提升大模型推理效率，特别适合MoE架构优化。

代码解释

数据流

DeepSeek

路由

4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

AFD技术将vLLM运行时拆分为Attention和FFN两个独立服务，实现资源弹性扩展。AttentionRole处理请求调度、KVCache和采样，FFNRole专注DenseFFN/MoE计算。通过Connector实现控制面和数据面通信，支持不同硬件拓扑配置。该方案无需修改vLLM源码，通过插件机制实现，显著提...

vLLM AFD分离-腾讯云开发者社区-腾讯云

vLLM AFD分离

vLLM AFD分离

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐