谷歌 TPU v8 全解析：TPU 8t与TPU 8i双芯片、训练端 4 倍 DCN 带宽与 9600 芯片 Pod 互连、推理端 Boardfly 拓扑创新与 80% 推理性能增益

2026 年 4 月 23 日，，Google 正式发布第八代张量处理单元（TPU）家族，推出TPU 8t与TPU 8i两款专用化芯片，彻底打破了通用 AI 加速器的设计范式。不同于前代单架构覆盖全 AI 生命周期的思路，第八代 TPU 针对 AI 产业从LLMs向混合专家模型（MoEs）、推理密集型架构乃至智能体 AI、世界模型跃迁的核心需求，实现了预训练、后训练、实时推理的工作负载分化，完成了从底层拓扑到硬件单元的全栈重构：以 TPU 8t 支撑万亿参数模型的超大规模训练，以 TPU 8i 破解智能体时代的推理延迟墙，更通过 Boardfly 拓扑创新、算法 - 硬件正向闭环等设计理念，为 Agentic AI 与世界模型构建了全新的算力底座。

本次发布的第八代 TPU 实现了架构、性能、能效的全方位里程碑式跃升：训练端 TPU 8t 实现最高 2.7 倍的训练性价比提升、2 倍能效优化，凭借 SparseCore 专用加速单元、原生 FP4 计算、Virgo 新一代网络架构与 TPUDirect 直访技术，完成 4 倍数据中心带宽提升、10 倍存储访问速度突破，可支撑超百万芯片规模的线性扩展分布式训练集群；推理端 TPU 8i 实现最高 80% 的低延迟推理性价比提升，首创 Boardfly 层次化互联拓扑配合 OCS 光路交换机，将同规模集群网络直径缩减 56%、通信密集型负载延迟降低 50%，搭配专属集合加速引擎（CAE）实现 5 倍片内集合操作延迟优化，彻底破解智能体长上下文推理与链式思维处理的延迟墙。此外，第八代 TPU 完成了 AI 算法与硬件设计的正向闭环，DeepMind 研发的 Alpha Evolve 智能体自主设计的底层电路直接集成于芯片硅片中，实现了 “AI 算力支撑 AI 算法创新、AI 算法反哺硬件底层优化” 的自进化飞轮，全面重构了 AI 算力基础设施的底层范式。

一、设计本源：智能体时代，通用架构已无法匹配 AI 的分化需求

Google 的 TPU 设计哲学始终围绕三大核心支柱：可扩展性、可靠性、效率。而当下 AI 产业的变革，正在彻底颠覆传统 AI 加速器的设计前提：

• 工作负载的本质分化：AI 模型的预训练、后训练、实时推理三大核心阶段，对硬件的需求已经出现根本性背离 —— 预训练需要极致的吞吐量与大规模并行能力，推理则需要极低的延迟与高并发处理能力，单一通用架构无法同时在两个场景实现最优效率。
• 智能体 AI 的刚性要求：智能体 AI 需要处理超长上下文窗口、复杂的序列逻辑与多轮推理链，传统架构的延迟瓶颈、同步开销会被无限放大，成为性能天花板。
• 世界模型的算力挑战：以 Google DeepMind Genie 3 为代表的世界模型，需要让数百万智能体在多样化模拟环境中完成推理训练与行为优化，而非传统的试错学习，这要求硬件在全链路实现极致的能效与调度效率。

正是基于这一行业变革，Google 第八代 TPU 彻底放弃了 “一芯通吃” 的设计思路，推出两款专用化芯片：TPU 8t 专为大规模预训练与嵌入密集型负载优化，TPU 8i 专为后训练与高并发推理场景定制。两款芯片均集成 Arm 架构 Axion CPU 头，彻底解决了数据准备延迟带来的主机瓶颈，确保 TPU 算力持续满载，同时共享 Google 全栈 AI 软件体系，完整支持 AI 全生命周期的开发需求。

二、TPU 8t：万亿参数模型的预训练动力源

TPU 8t 是 Google 为大规模预训练打造的算力核心，基于成熟的 3D torus 网络拓扑，实现了单超算 Pod 9600 颗芯片的互联规模，可支撑数百个超算 Pod 的并行训练，确保万亿参数模型的训练任务稳定推进。其核心架构突破，全部围绕预训练场景的核心瓶颈设计。

1. SparseCore：破解嵌入查找的内存墙瓶颈

嵌入查找是大模型预训练中最常见的操作之一，但其不规则的内存访问模式，是通用芯片最容易出现 “零操作瓶颈” 的场景 —— 核心计算单元长时间闲置，等待内存数据返回。

TPU 8t 的核心设计之一，就是专门为这一场景打造的SparseCore 专用加速器：

① 与负责矩阵数学运算的矩阵乘法单元（MXU）形成明确分工，SparseCore 专门卸载数据依赖的 all-gather 等集合通信操作，彻底规避通用芯片的闲置问题；

② 针对性优化嵌入查找的不规则内存访问模式，让嵌入密集型负载的处理效率实现质的飞跃。

2. VPU/MXU 平衡缩放与重叠执行，最大化芯片利用率

大模型预训练的算力浪费，很大一部分来自向量操作与矩阵乘法的串行执行 ——MXU 完成矩阵乘后，需要等待向量处理单元（VPU）完成量化、softmax、层归一化等操作，才能进入下一轮计算。

TPU 8t 通过更均衡的 VPU 缩放设计，最小化暴露的向量操作时间，实现了向量操作与 MXU 矩阵乘法的深度重叠：量化、softmax、层归一化等操作，可与 MXU 的矩阵乘计算并行执行，彻底消除串行等待的闲置时间，让芯片持续满载，最大化预置 FLOPs 的实际利用率。

3. 原生 FP4 支持：突破内存带宽的算力天花板

大模型预训练的核心瓶颈早已不是峰值 FLOPs，而是内存带宽 —— 参数规模的指数级增长，让数据移动成为算力释放、能耗优化的最大障碍。

TPU 8t 首次在 TPU 架构中引入原生 FP4计算支持：

① 直接在硬件层面实现 FP4 原生计算，让 MXU 吞吐量直接翻倍，同时在低精度量化下依然保持大模型的训练精度；

② 通过降低单参数的比特数，大幅减少能耗密集型的数据移动操作，让更大的模型层可以完整放入本地硬件缓冲区，实现峰值计算利用率。

4. Virgo 网络：为百万级芯片集群打造的超算互联架构

大规模分布式训练的上限，从来不是单芯片算力，而是互联网络的带宽与延迟。为支撑 TPU 8t 的海量数据需求，Google 推出了全新的Virgo 网络架构，实现了数据中心网络（DCN）带宽较上一代 4 倍的提升。

Virgo 网络是专为现代 AI 负载的极端需求设计的横向扩展架构，核心设计亮点包括：

① 采用高基数交换机，通过单交换机更多端口减少网络层级，采用扁平的两层无阻塞拓扑，相比传统数据中心网络，通过最小化网络层级显著降低延迟；

② 采用多平面设计，通过独立控制域实现 TPU 8t 芯片的全互联，同时 TPU 8t 机架可与 Jupiter 南北向架构（Apollo OCS）对接，实现计算与存储服务的访问；

单网络 Fabric 可连接超过 134000 颗 TPU 8t 芯片，提供高达 47Pbps 的无阻塞二分带宽；

③ 结合 JAX 与 Pathways 分布式框架，可实现单训练集群超过 100 万颗 TPU 芯片的扩展规模，总算力超过 160 万 ExaFlops，同时保持近线性的扩展性能。

5. TPUDirect 技术：10 倍存储访问速度，消除数据摄入瓶颈

预训练任务的另一个核心瓶颈，是数据摄入 —— 海量训练数据的存储读取、芯片间数据传输，往往会让 TPU 长时间等待数据，导致训练周期拉长。

TPU 8t 首次引入TPUDirect RDMA与TPUDirect Storage两大技术，彻底绕过主机 CPU 的瓶颈：

① TPUDirect RDMA：实现 TPU 的 HBM 内存与网卡（NIC）之间的直接数据传输，完全绕过主机 CPU 与 DRAM，大幅降低延迟，提升 TPU 间通信的有效带宽；

② TPUDirect Storage：实现 TPU 与 10T Lustre 等高速托管存储之间的直接内存访问，同样绕过主机 CPU 瓶颈，让海量数据传输的带宽直接翻倍；

最终实现了较第七代 Ironwood TPU 10 倍的存储访问速度，彻底消除数据摄入带来的训练延迟。

三、TPU 8i：智能体推理与高并发服务的专用引擎

如果说 TPU 8t 是为了 “把模型更快地训练出来”，那 TPU 8i 就是为了 “让百万级智能体的推理服务跑得又快又稳”。TPU 8i 专为后训练、高并发推理场景优化，针对自回归解码、链式思维处理、MoE 模型的核心瓶颈，完成了从片上缓存到互联拓扑的全链路重构。

1. 3 倍片上 SRAM：把 KV 缓存完全放进芯片里

长上下文推理的核心痛点，是 KV 缓存的频繁内存访问 —— 上下文窗口越长，KV 缓存越大，需要反复从片外 HBM 读取数据，导致核心频繁闲置，延迟大幅上升。

TPU 8i 配备了 Google TPU 史上最大的片上 SRAM，容量达到384MB，是 TPU 8t 的 3 倍，较上一代 Ironwood TPU 实现 3 倍提升。超大的片上 SRAM 可以将大模型的 KV 缓存完全驻留在片上，彻底消除长上下文解码过程中，片外内存访问带来的核心闲置时间，大幅提升长文本推理的吞吐量与延迟表现。

2. 集合加速引擎（CAE）：5 倍降低片上集合延迟，破解采样瓶颈

自回归解码、链式思维推理的核心操作，是跨核心的结果聚合、归约与同步，这一过程的延迟，直接决定了推理服务的并发上限与响应速度，也就是行业常说的 “采样瓶颈”。

TPU 8i 专门为这一场景打造了集合加速引擎（CAE），核心设计包括：

① 每颗 TPU 8i 芯片，包含 2 个位于核心裸片的张量核（TC），以及 1 个位于芯粒裸片的 CAE，完全替换了上一代 Ironwood TPU 核心裸片上的 4 个 SparseCore；

② CAE 可实现跨核心的结果聚合，延迟接近为零，专门加速自回归解码与链式思维处理所需的归约、同步步骤；

③ 专用化的 CAE 设计，让片上集合操作的延迟降低 5 倍，大幅减少核心等待时间，直接提升了百万级智能体并发运行所需的吞吐量。

3. Boardfly ICI 拓扑：为全对全通信重构的互联架构，延迟降低 50%

MoE 模型与推理负载的核心通信模式，是全对全通信 —— 任意一颗芯片，都可能需要与其他任意一颗芯片通信，完成 token 的路由。而传统用于训练的 3D torus 拓扑，虽然适合邻居间的密集通信，但在全对全通信场景下，跳数多、延迟高，会产生严重的 “延迟税”。

TPU 8i 的核心突破，在于针对 MoE 模型与推理工作负载的全对全通信需求，彻底重构了芯片间互联（ICI）拓扑，推出了全新的 Boardfly 架构，配合 OCS 光交换技术，从根源上解决了传统 3D Torus 拓扑的延迟瓶颈。

3D Torus 是 Google 前代 TPU 训练集群的核心拓扑，其优势在于适配稠密训练的邻居到邻居通信模式，可实现数千芯片的线性扩展，但在推理与 MoE 场景中存在致命短板：

• 推理与 MoE 模型的核心是全对全通信：任意芯片可能需要与其他任意芯片完成 token 路由、专家调度、KV 缓存同步，通信延迟直接由芯片间的跳数决定；
• 官方技术文档明确给出量化数据：在 1024 芯片的标准集群配置下，3D Torus 拓扑的最大跳数计算公式为：3D torus=8/2(X)+8/2(Y)+16/2(Z)=16 hops即最坏情况下，芯片间通信需要跨越 16 跳，带来极高的延迟税与尾延迟波动，成为自回归解码、链式思维处理的核心瓶颈。

Boardfly 拓扑正是为解决这一痛点设计，其核心理念源自 Dragonfly 拓扑原则，通过高基数设计与光链路扁平化网络，最小化全对全通信的网络直径，大幅降低通信延迟。

3.2 Boardfly 的三层层次化架构详解

Boardfly 采用原生的层次化设计，从芯片到托盘、板组、Pod 完成全层级无阻塞互联，每一层都针对全对全通信做了极致优化，同时完整集成 OCS 光交换技术，具体架构如下：

① 第一层：基础构建块（Building Block, BB）

• 物理构成：每个托盘（tray）为一个基础 BB 单元，通过内部 ICI 链路形成4 芯片全连接环，单 BB 内任意芯片间通信无额外跳数，实现本地通信的最低延迟；
• 组网能力：每个 BB 预留 16 个外部连接端口，为上层组间、Pod 间组网提供充足的链路资源，避免端口瓶颈。

② 第二层：本地组（Group, G）

• 物理构成：8 个 BB（8 个托盘 / 板）通过铜缆完成全连接，形成一个本地化通信组；
• 链路设计：每个 BB 的 16 个外部端口中，11 个用于组内全连接通信，确保组内任意两个 BB 之间的通信仅需 1 跳，无阻塞、无转发，大幅降低组内全对全通信的延迟；
• 场景适配：完美适配 MoE 模型的组内专家路由，以及单组内的长上下文 KV 缓存同步需求。

③ 第三层：Pod 架构与 OCS 光交换核心

• 物理构成：最终的 TPU 8i Pod 由 36 个 Group 组成，最大支持 1024 个活跃芯片；OCS 光交换通过长距离光链路直接打通跨 Group 的通信通道，避免了传统多级电交换的跳数累积，实现了网络的扁平化。

• 通过 OCS 的全连接调度，Pod 内任意两个芯片之间的通信，最大跳数仅为 7 跳，相比同规模 3D Torus 拓扑的 16 跳，实现了 56% 的网络直径缩减。

四、TPU 8t vs TPU 8i：核心规格完整对比

两款芯片共享 Google TPU 的核心技术体系与软件栈，但针对不同场景完成了专用化优化，核心规格对比如下：

五、全栈软件支撑：硬件专用化，开发无门槛

硬件的上限由软件决定，Google 第八代 TPU 完全继承了第七代 Ironwood TPU 的性能优先软件栈，在实现硬件专用化的同时，确保开发的便捷性与可移植性。

① 全框架兼容：在 Ironwood TPU 上运行的 JAX、PyTorch、Keras 代码，无需修改即可直接在第八代 TPU 上实现规模扩展，同时完整支持 Eager Mode 等原生特性；

② 自定义内核开发：提供 Pallas 自定义内核语言的一流支持，允许开发者用 Python 编写硬件感知的内核，同时深度适配 TPU 8t 的 SparseCore 等专用硬件单元；

③编译器底层优化：加速线性代数编译器（XLA）会在底层自动处理 Boardfly 拓扑、CAE 同步等复杂的硬件适配，开发者只需聚焦模型本身，无需关注底层互联细节；

④ 超大规模分布式支持：原生集成 Pathways 系统，支撑超过 100 万颗 TPU 芯片的单集群分布式训练，实现近线性的性能扩展。

值得注意的是，第八代 TPU 实现了算法 - 硬件闭环的里程碑式突破：AI 智能体直接参与了 TPU 的底层电路设计。DeepMind 所研发的 Alpha Evolve 编码智能体，不仅在短短几天内优化了困扰人类 56 年的 Strassen 矩阵乘法算法，更提出了一套反直觉但效率极高的电路设计方案，该方案被直接集成到第八代 TPU 的硅片中。这一突破形成了完整的正向循环：TPU 支撑 AI 智能体的研发，AI 智能体反过来优化 TPU 的底层设计，实现了 "TPU 的大脑设计下一代 TPU 的身体"，彻底打破了传统人类主导的硬件设计范式。

六、代际跃升：性能、能效、性价比的全面突破

与第七代 Ironwood TPU 相比，第八代 TPU 实现了全维度的性能飞跃：

训练性价比：TPU 8t 在大规模训练场景，实现了最高 2.7 倍的每美元性能提升；

① 推理性价比：TPU 8i 在大 MoE 模型的低延迟服务场景，实现了最高 80% 的每美元性能提升；

② 能效表现：两款芯片均实现了最高 2 倍的每瓦性能提升，为 AI 的可持续规模化发展提供了核心支撑；

③ 存储访问：TPU 8t 实现了 10 倍的存储访问速度提升，彻底消除数据摄入瓶颈；

④ 推理延迟：TPU 8i 实现了片上集合操作 5 倍延迟降低，通信密集型负载最高 50% 的延迟优化。

七、写在最后：为智能体时代打造的算力基石

从 2013 年第一代 TPU 诞生至今，Google 的每一代 TPU 都在推动 AI 产业的边界突破：从 AlphaGo、AlphaFold，到 Gemini 多模态大模型，再到如今的 Genie 3 世界模型与智能体 AI，TPU 始终是 Google AI 突破的底层算力支撑。

第八代 TPU 的发布，标志着 AI 基础设施正式进入专用化时代。Google 没有选择在单一架构上堆高峰值算力，而是直面 AI 全生命周期的分化需求，用两款深度定制的芯片，分别解决预训练的吞吐量瓶颈与推理服务的延迟天花板，同时通过统一的软件栈，消除了专用化带来的开发门槛。

正如 Google 官方所言：正如世界模型的出现需要基础设施的突破，智能体时代同样如此。那些在持续反馈循环中完成规划、执行、学习的推理智能体，无法在原本为传统训练或事务性推理优化的硬件上实现峰值效率 —— 它们的运算强度有着本质区别。而第八代 TPU，正是 Google 为智能体时代交出的答案。