
# 关于这个系列，我也是在学习，希望大家共同进步

先给 AI Infra 一个全景工作。从下到上六层，外加一条贯穿始终的横切线：

![fig0-ai-infra-layers.png](https://developer.qcloudimg.com/http-save/yehe-11479707/d7def136e56f69ea810bb767b0828a2e.png)
本系列规划：

- **第一章（本文）**：性能工程——贯穿六层的优化视角
- **第二章**：网络层——NVLink、InfiniBand、RoCE、RDMA 与分布式通信
- **第三章**：存储层——3FS、Lustre、对象存储、KV Cache 分层
- **第四章**：推理引擎——vLLM、SGLang、分离式 Prefill/Decode
- **第五章**：训练与调度——并行策略、K8s/Slurm、GPU 资源管理

为什么第一章先讲性能工程？因为它不是某一层，而是横切所有层的视角。先把这条线捋顺，后面每一层才知道"为什么要优化、优化到哪算好"。

## 一、先说结论：会省钱比会堆卡重要

2024 年末，DeepSeek 给整个行业上了一课。因为拿不到顶级的 NVIDIA GPU，它的工程师只能用 H800，靠自定义 CUDA 内核和模型蒸馏，从这些减配卡里挤出最大性能，训出了 DeepSeek-R1。

真正让市场震动的不是模型本身，是账单。DeepSeek 声称 V3 的预训练计算成本不到 600 万美元。R1 是在 V3 之上做的强化学习后训练。而 GPT-4（2023）花了约 1 亿美元，Google 的 Gemini Ultra（2023 末）约 1.91 亿美元。同一个数量级以下的成本，出来一个性能接近的模型，资本市场当天就把 NVIDIA 股价砸了约 17%。

![fig1-train-cost.png](https://developer.qcloudimg.com/http-save/yehe-11479707/e19f033ec52c7d05960721c8bd39c842.png)
600 万的统计口径有争议，比如是不是只算了单次预训练、有没有排除实验和开发流程，股价后来也涨回来了。但信号很明确：效率上的突破，能让市场重新给"未来还要买多少 GPU"这件事定价。

这也是 AI 系统性能工程师存在的全部理由。他们做的事说白了就一条：让每块钱、每瓦电，都花在有用的计算上。

## 二、这份工作具体在干什么

四个方向，按出现频率排。

**基准测试与性能分析。** 测训练和推理的延迟、吞吐、显存占用。工具就是 NVIDIA Nsight Systems、Nsight Compute 加 PyTorch profiler 的组合，在不同栈层级定位瓶颈，再自动化测试，防止性能悄悄回退。

**扩展分布式训练和推理。** 把 8 卡的研究工作负载，放大到 8 万卡还能保持效率。涉及 NCCL 优化集合通信、NIXL 做高吞吐低延迟的数据移动，以及数据并行、张量并行、流水线并行、专家并行这些策略的取舍。

**管好资源。** 让 GPU 一直吃得上数据，把线程绑到特定 CPU 核，减少上下文切换，用 MIG 给不需要整卡的作业切分资源。

**跨团队扯皮。** 改模型代码要协调研究员，升级 CUDA 驱动要协调基础设施团队。性能工程师得同时说研究、系统和硬件三门语言。

## 三、DeepSeek 的 2026：R2 没来，V4 来了

有一个反直觉的事实：DeepSeek R2 从来没发布过。据路透社报道，创始人梁文锋对 R2 的性能不满意，就没定发布时间。一家被整个行业盯着要出续作的公司，选择不发一个自己不满意的模型，比硬发难得多。

R2 的推理能力最后被并进了 DeepSeek V4。2026 年 4 月 24 日，V4 发布，分两个版本：

- V4-Pro：1.6 万亿总参数的 MoE，每次前向只激活 490 亿参数，100 万 token 上下文，权重用 MIT 协议开源
- V4-Flash：更小、更快、更便宜，API 和自托管都行

定价按人民币计算：V4-Pro 缓存命中输入 1 元 / 百万 token、缓存未命中输入 12 元、输出 24 元，约为 0.14 / 1.68 / 3.35 美元。这个价位本来是 7.5 折的促销价，后来被定为常规定价。8 月 17 日，DeepSeek 又启用了峰谷定价，高峰时段倍率上调。

值得记的两个细节。第一，V4 的训练迁移路径是早期基于英伟达、后来完成了向华为昇腾的深度适配与推理优化。同一个出口限制，反过来塑造了 V4 的架构路线。第二，DeepSeek 在 2026 年 6 月完成了第一轮外部融资，融资额约 74 亿美元，估值落在 520 到 590 亿美元之间，打破了梁文锋"不融资、不上市"的老规矩。钱会流进内蒙古乌兰察布的数据中心，以及更大的模型。

另外开源了一个叫 DSpark 的投机解码框架，团队报告说能给 V4-Flash 的生成速度提 60% 到 85%。

## 四、硬件换代：Blackwell 退场，Rubin 上场

如果 DeepSeek 代表"在旧硬件上抠性能"的一端，NVIDIA 就站在另一端，直接把硬件换代。

GTC 2026 上发布的 Rubin 平台，2026 年 7 月公开了完整细节。核心的 Rubin GPU 用台积电 3nm 工艺，两颗 die 通过 NV-HBI 拼成一个封装，总共 3360 亿晶体管，比 Blackwell GB300 多 62%。224 个 SM，896 个 Tensor Core。

![fig2-rubin-vs-blackwell.png](https://developer.qcloudimg.com/http-save/yehe-11479707/cf04bdd44dff4840e641b836f5e3d795.png)
最关键的一组对比：显存带宽从 Blackwell 的 8 TB/s 涨到 22 TB/s，2.8 倍；NVLink 从 1.8 TB/s 翻到 3.6 TB/s；HBM4 容量 288 GB。NVFP4 算力达 50 petaflops，第三代 Transformer Engine 是底层支撑。NVIDIA 的官方说法是，在智能体 AI 负载上，Rubin 的单位能耗吞吐是 Blackwell 的 10 倍。

Rubin 还做了一批很细的优化，几乎每个都对应 2026 年的一个热点。MoE 的 TMA 内联描述符，让专家数量继续涨的时候权重搬运不拖后腿。激活稀疏加自适应压缩，把注意力分数压成 2:4 稀疏格式，省下 softmax 和第二个 GEMM 的计算量。softmax 的指数吞吐也涨了，BF16/FP16 是 Blackwell 的 4 倍。kernel 之间的图块级触发，让下游 kernel 不用等上游全部算完就能提前开工。

Vera Rubin NVL72 机架还加了智能功率平滑，平均功耗降 10%，50 毫秒峰值降 20%，同样的电力预算能多塞约 40% 的 GPU。配套的 Vera CPU 也从"主机"变成了数据引擎：88 个定制 Olympus 核，176 线程，1.5TB LPDDR5X。

一个值得留意的判断：Blackwell 主要面向训练和通用推理，Rubin 的重心已经明显转向智能体（Agentic）AI，也就是长上下文、多步推理、工具调用、高并发 token 生成这一类。硬件在追着工作负载跑。

## 五、推理侧 2026 年最大的变化：Prefill 和 Decode 分家

训练是省钱，推理是拼体验。2026 年推理系统最明确的一条主线，是分离式 Prefill/Decode。

理解这个要先回到一个事实：自回归生成有两个计算画像完全不同的阶段。Prefill 处理整个 prompt，是计算密集的，GPU 利用率能接近峰值。Decode 每步只出一个 token，但要读全部历史 KV Cache 和权重，是内存带宽密集的，GPU 实际利用率经常只有 20% 到 40%。

把这两个阶段塞在同一批 GPU 上，问题就来了。一个长 prompt 进来，prefill 吃满算力，正在 decode 的请求就卡住，用户看到的是 token 流"停顿、爆发、再停顿"。分离式架构的思路是把它们拆到不同的 GPU 池，各自用最合适的配置。

![fig3-pd-disaggregation.png](https://developer.qcloudimg.com/http-save/yehe-11479707/02ddda8b556f5480bfbcd824f8542aa3.png)
这套东西在 2024 年还是论文（DistServe、Splitwise），到 2026 年已经产品化了。vLLM 和 SGLang 都原生支持，Mooncake 把 KV Cache 做成一个分布式池子，让 prefill 和 decode 引擎跨机器共享缓存。KV 传输的底座是 NIXL（NVIDIA 的 RDMA 库）或者 Mooncake 自己的传输层。

围绕 KV Cache 的优化也在 2026 年集中爆发：

- **PagedAttention v2**：跨请求共享 KV，再加 KV 量化到 INT4/INT8。据报道，系统提示词场景能省 30% 到 50% 的 KV，RAG 场景 40% 到 60%。
- **投机解码 2.0**：DFlash 不再逐 token 猜，而是整块猜（16 到 64 token 一块），代码任务上据报道块级接受率 65% 到 75%；EAGLE-3 直接把主模型的隐藏状态喂给草稿模型，接受率到 70%，实际解码能快 1.8 到 2.2 倍。
- **Helix Parallelism**（TensorRT-LLM 1.3 引入，基于 2025 年 7 月的论文）：在 MoE 的注意力层用 KV 并行，在 FFN 层切回张量并行加专家并行，解决 MoE 层内并行策略不匹配的问题。DeepSeek-R1 上，token 间延迟降 1.5 倍。

这些技术拼在一起的效果很直观。一个 PD 分离的基准里，H100 单卡吞吐 1200 token/s，拆开加投机解码能到 3000 以上，TTFT 砍半。

## 六、机械同情：老词，新内涵

在 AI 圈子里面，有一个词叫：机械同情（Mechanical Sympathy）。出自软件工程师 Martin Thompson，灵感来自 F1 冠军 Jackie Stewart 对赛车机械的理解。放在 AI 里，就是让算法贴着硬件的能力设计，而不是让硬件硬扛算法。

最经典的例子是 FlashAttention，把计算分块、减少显存读写，长序列训练推理直接快 2 到 4 倍，几乎一夜成了默认实现。DeepSeek 的 MLA 是另一个，重构注意力计算去匹配 NVIDIA 内存层次和 Tensor Core，在 H800 上跑出了比 FlashAttention 还高的吞吐。

2026 年这个词有了新的注脚。Rubin 为 softmax 单独提指数吞吐、给 MoE 做描述符共享、用稀疏压缩省注意力计算，本质上都是算法提需求、硬件改设计。DeepSeek 在昇腾上训 V4，是在硬件能力范围内重新设计训练路线。算法在推硬件，硬件也在反向推算法。

## 七、该盯的指标不是 FLOPS，是 goodput

几千张卡跑起来，传统指标会骗人。FLOPS 和利用率看着满，其实大量时间花在通信停滞、任务重启、数据等待上。NVIDIA 把硬件理论峰值叫"光速"（speed of light），实际离光速多远，才是真正的问题。

于是有了 goodput，Meta 2025 年那篇论文里叫"有效训练时间比率"：单位时间完成的有用工作，扣除所有不直接产出训练或推理的开销，再拿集群最大吞吐归一化成一个百分比。

举个具体例子。一个 8 卡节点理论峰值 1.2 万 token/s，实际只跑出 1 万 token/s，去掉所有非有用开销之后归一化，goodput 是 83.3%。看起来不低，但在 Meta 那个大规模集群的研究里，集群表面 100% 利用，实际有 70% 到 75% 的计算损失在通信延迟、次优并行、数据延迟和故障恢复上。

这中间少了的 20% 多，就是一个性能工程师的着力点。在大规模集群上，找回这 20% 省下的硬件钱是百万美元级别。所以这个指标在 2026 年比以往任何时候都更被盯紧。

## 八、收个尾

回到开头的问题：这份工作为什么在 2026 年更值钱？

因为两头都在加压。一头是模型继续变大，DeepSeek V4 到了 1.6 万亿参数、100 万 token 上下文，推理账单越来越重。另一头是硬件从堆峰值算力转向堆智能体吞吐，Rubin 那 10 倍不是白给的，得有人把新特性用起来。

夹在中间的就是性能工程师。他们不生产模型，也不设计芯片，但决定这两样东西合在一起时，每块钱到底能换多少 token。同样的预算，2026 年能多跑一个 V4 量级的推理流量，这就是这份工作涨价的原因。

---

## 系列预告

第一章只讲了性能工程大概。接下来的几篇，会往下钻到具体某一层：

- **第二章 · 网络层**：分布式训练里，GPU 之间同步梯度常常比计算还慢。NVLink、InfiniBand、RoCE、RDMA 各自解决什么问题，为什么 DeepSeek 要把"通信当稀缺资源"。
- **第三章 · 存储层**：数据喂不饱 GPU，再快的卡也是白搭。3FS、Lustre、对象存储怎么分工，KV Cache 为什么要单独做一层存储池。
- **第四章 · 推理引擎**：这一章在本文第五节只开了个头。vLLM、SGLang、TensorRT-LLM 的取舍，分离式 Prefill/Decode 落地细节，投机解码怎么调。
- **第五章 · 训练与调度**：几万张卡怎么排程、怎么容错、怎么把利用率做上去。K8s、Slurm 和 GPU 资源管理的那点事。

---

## 参考资料

- Chris Fregly, *AI Systems Performance Engineering*, O'Reilly Media
- NVIDIA 官方博客：*Inside the NVIDIA Rubin GPU Architecture*（2026-07）
- NVIDIA 官方博客：*Inside the NVIDIA Rubin Platform: Six New Chips*（2026）
- DeepSeek V4 发布信息与 API 定价文档（2026-08-17 峰谷定价生效）
- 中英对照翻译项目：github.com/notlate-cn/ai-systems-performance-engeering
- Meta, *Revisiting Reliability*（2025）
- Liang 等：*DSpark 投机解码框架*（2026-06）
- Helix Parallelism, arXiv:2507.07120（2025-07）
- Mooncake, FAST 2025 最佳论文

> 说明：文中 2026 年硬件与模型数据来自 NVIDIA 官方博客、DeepSeek 官方文档及多家媒体报道，截至 2026 年 8 月。DeepSeek 训练成本等历史数字沿用《AI Systems Performance Engineering》第 1 章所引公开报告。

第二章：网络层——NVLink、InfiniBand、RoCE、RDMA 与分布式通信

AI Infra 系列 · 第一章：性能工程，AI Infra 的地基（Deepseek 为何是行业标杆）

这是「AI Infra 系列」的第一篇。AI Infra 有六层——硬件、网络、存储、系统软件、框架引擎、平台工具——而性能工程是贯穿六层的横切视角。本文从 2024 年 DeepSeek 的 H800，讲到 2026 年的 Rubin 和分离式推理，说清楚性能工程为什么是所有 AI Infra 能力的地基。

运维开发工程师

人工智能

架构设计

云计算

2026年AI性能工程全景解析：从DeepSeek V4的600万美元训练成本到Rubin架构的10倍能效提升，剖析性能优化如何贯穿六层AI基础设施。聚焦分离式Prefill/Decode、KVCache优化、投机解码等关键技术，揭示goodput指标如何替代传统FLOPS，让每块钱GPU预算换取最大token产出。

快速部署LLM、AI绘画等应用,助你玩转AIGC！


4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

AI Infra 系列 · 第一章：性能工程，AI Infra 的地基（Deepseek 为何是行业标杆）-腾讯云开发者社区-腾讯云

AI Infra 系列 · 第一章：性能工程，AI Infra 的地基（Deepseek 为何是行业标杆）

AI Infra 系列 · 第一章：性能工程，AI Infra 的地基（Deepseek 为何是行业标杆）

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐