聊聊Meta的GW级AI网络架构：BAG是怎么把十万卡异构集群“缝”起来的？

最近市场上关于Meta有两则看似矛盾的消息，一个是Meta 打算向外部企业租赁其AI计算基础设施，一度引发市场对于全球算力过剩的恐慌。另一边Meta找了三星代工，砸了超过 10 万亿韩元（约合人民币443亿元），准备采用三星代工的 2 纳米工艺量产第三代自研 AI 芯片 MTIA，以数十万组的规模实现大规模量产。为了达成到2030年底前建成总装机容量达5吉瓦（GW）的数据中心的目标，BAG（Backend Aggregation）在其中扮演着关键角色。BAG能够无缝连接跨越多个数据中心和区域的成千上万个 GPU，负责连接两种截然不同的底层AI网络架构——DSF（Disaggregated Schedule Fabric）和NSF（Non-Scheduled Fabric）。

回顾一下前序文章，我们知道DSF采用的是前后端物理隔离与双平面冗余设计，创新性地引入以太网域与交换网域的双域解构架构，利用信元喷射技术打破大象流瓶颈，搭配VOQ和配合自家信元的集中式信元调度的FBOSS控制平面。只有源端交换机在确认目的端有空闲 Buffer 时才会发送流量，这种硬控机制直接在网络层做到了零丢包，链路利用率基本能跑到满。

而NSF则采用截然不同的做法，采用搭载NVIDIA Spectrum-4 ASIC的浅缓存商用Minipack 3N交换机，搭配基于ORv3标准定制的高功率双机柜NVL72超节点（Catalina Pod）作为高性能底座，NSF 不搞定制，依托原生支持自适应路由与Spectrum-X端网协同机制重构吉瓦级AI基础设施，主打从专用定制向开放解耦的范式转移。

而一个包含8000个机柜的GB200 NVL 72集群（Catalina Pod）可能消耗超过1吉瓦（GW）的电力。在全球范围内，极少有单一园区能提供如此巨大的瞬时功率和相应的散热能力。因此，Meta必须将物理上分散在不同地理位置（如俄亥俄州、弗吉尼亚州、俄勒冈州）的数据中心，在逻辑上整合成一台“超级计算机”，这就需要引入 BAG，来解决跨区多数据中心之间的互联问题。

01

BAG算力底座搭配深缓存AISC芯片

BAG可以类比理解为一个集中式的、基于以太网的Super-Spine网络层，作为区域网络与 Meta 骨干网之间的汇聚点，BAG 之间的跨区互联容量达到16 到 48 Pbps。

BAG 层面临的物理环境是长达数公里甚至数十公里的跨区暗光纤。光信号跑这么远会有几十毫秒的延迟，底层 NSF 交换机的浅缓存无法吸收这种延迟带来的流量微突发，容易触发 PFC 拥塞控制导致全网AI训练降速。为了解决这个问题，在设备选型上Meta 选用搭载 Broadcom Jericho3 芯片的大型模块化机箱来构建跨区域、BAG 与 BAG 之间的长距离线缆连接，利用硬件自带的深缓存为跨区流量提供缓冲余量。单台 BAG 设备利用内部的 Ramon 交换矩阵级联，对外提供 432 个 800G 端口。有意思的是，整套系统剥离了传统设备的主控引擎，采用全分布式设计，原生支持大容量路由表和附带链路带宽属性的 eBGP 协议，专门用来跑非等价多路径负载均衡。

02

BAG无缝衔接DSF与NSF网络架构

DSF集群接入BAG层

我们先看底层是 DSF 的GPU超大规模集群如何向上接入 BAG 层。如下BAG连接DSF网络架构图，数据中心内部的 L1 和 L2 Zone 都是私有计算域。在网络最顶层，Meta 部署了边缘节点。这个边缘节点扮演了协议转换网关的角色。在边缘节点下方，数据以固定大小的信元形式传递，依靠基于 VOQ 的信元喷射和 Credit 令牌进行无损传输。一旦流量穿过边缘节点，进入绿色的 BAG L3 Super-Spine 层，硬件会将这些信元重新组装成标准的 IP 数据包，并切换到 eBGP 路由进行转发。为了对齐 DSF 底层 2 的 N 次方对称拓扑，这里的 BAG 核心节点数量被规整地设定为 512 台。跨域的收敛比设定为 4.5:1，这个工程值配合上层的训练调度器，可以将跨数据中心的集合通信流量截断在最优位置，降低骨干网压力。

NSF集群接入BAG层

接着看底层是 NSF 的GPU超大规模集群如何接入 BAG。如下BAG连接NSF网络架构图，这是一个由 GB300 和 Minipack3N 交换机组成的三级 Clos 网络。最上层的 STSW 负责向上连接到 BAG 平面。图中顶部虚线框标明的 BAG 节点数量是 52 个平面，每个平面 10 台，一共 520 台。这个数量与 DSF 的 512 台不同，原因在于 NSF 采用的 Tomahawk 5 芯片固定为 64 个端口。架构师在分配下行和上行链路比例时，受限于芯片物理口径，经过矩阵推导得出了 520 这个非标数量。同时，由于 NSF 运行的是标准 RoCEv2，浅缓存机制防拥塞能力较弱，架构师将 NSF 上联到 BAG 的收敛比精确控制在 4.98:1。通过卡死这个溢出带宽口径，可以防止微突发流量触发全局的 PFC 风暴。

BAG区域骨干网互联拓扑

把视线拉高到区域骨干网级别，BAG 之间的互联主要采用平面式或扩展式拓扑，具体选择取决于站点的物理规模和光纤资源的可用性。我们来看BAG间互联拓扑图，图中间蓝色的 BAG Hub 是区域流量交汇枢纽，两边绿色的和紫色的框代表不同园区对外互连边缘节点。连接这两端采用两种拓扑形态——左侧的大型园区光纤资源充足，采用平面式拓扑即沿着相同的网络平面，将不同区域的 BAG 交换机进行“一对一”直连。这种方式简化了管理逻辑，但可能会使潜在的故障域变得更加集中。右侧的园区规模较小或者光纤资源有限，采用扩展式拓扑将互联链路打散分布到多个 BAG 交换机/平面上，从而极大地增强了路径的多样性和网络的容灾弹性。

BAG 本质上是一个横跨物理区域的 L3 层 Super-Spine 路由网络。它提供统一的出口，终结了底层切分信元与跑 RoCEv2 的二层协议差异，通过深缓存交换机和以太网路由，把散布在不同大楼的算力孤岛缝合成一个整体，以此支撑起十万卡级别 AI 集群的跨区协同。