思科白皮书：基于以太网的 AI 集群架构

本文主要介绍了思科基于以太网的 AI 集群架构，采用 Silicon One 芯片和 SONiC 操作系统，构建包含 32 个 NVIDIA DGX H100 节点（共 256 块 GPU）的 AI 集群，强调以太网在性能、可扩展性和多租户安全方面的优势，通过 CLOS 架构实现无阻塞架构，结合优先流控制（PFC）和显式拥塞通知（ECN）确保无损传输，并利用 Grafana 等工具进行运维监控，总结了 AI 基础设施在计算、网络和存储方面的关键需求及解决方案。

1. 思科 AI 战略与业务目标 AI 的重要性：AI 正在改变世界，渗透各领域，为思科带来新市场机会，提升产品（如 Webex 音视频优化）和服务（如缩短 MTTR 的聊天机器人）能力。 核心业务目标： 部署含256 块 NVIDIA H100 GPU的 AI 集群，验证思科技术栈（Silicon One 芯片 + SONiC 系统）。 与 Common Hardware Group 合作制定基于以太网的大规模 AI 集群蓝图。
2. 选择以太网的原因与市场趋势 思科 AI 集群为何选择以太网而非 InfiniBand？ 性能与扩展性：以太网支持更高效的规模扩展（如 512-wide radix 架构），适应多 GPU 并行训练。 多租户安全：确保客户训练数据主权和保护。 运维兼容性：支持多厂商硬件、多种 GPU 类型，人才生态更成熟。 市场数据：2024 年以太网交换机收入占数据中心 AI 网络市场的74%，远超 InfiniBand 的 15%。
3. SONiC 技术架构与功能 定义：开源网络操作系统（NOS），支持白盒硬件，通过 SAI API 抽象硬件，实现软件组件民主化。 功能栈： 社区驱动：SAI API 和 SONiC OS 由社区开发，平台 SDK 由厂商维护。 关键特性：MACsec 安全、热重启（Warm Boot）、IP Fabric（BGP）、EVPN VxLAN 覆盖网络。 工具链：支持 gRPC telemetry、SNMP、ZTP 自动化部署。
4. AI集群硬件与网络设备 计算节点： 配置：32 个 NVIDIA DGX H100 节点，每节点含8 块 H100 GPU、2TB 内存、32 PetaFLOPS FP8 性能，功耗 10.2kW / 节点。 网络：8x ConnectX-7 VPI 接口，支持 400Gbps 以太网 / InfiniBand，双链路冗余。 存储节点： 配置：4 个 NetApp A900 节点（HA 对），128 核 CPU、2TB 内存，提供131TB 可用存储空间，支持 8x100Gbps 以太网接口（RoCE）。 网络设备：

1. 网络架构设计 分区设计： 计算网络：采用 CLOS 架构，8 叶 + 8 脊交换机，400Gbps 无阻塞链路，iBGP 路由反射器，支持 ECMP 负载均衡。 存储网络：100Gbps 链路，连接 NetApp 存储与 DGX 节点，未来计划部署 VxLAN 覆盖网络。 带内管理网络：5 个 UCS 管理节点，通过 SLURM 调度作业，使用 100Gbps 交换机。 无损传输机制： PFC（802.1Qbb）：按优先级实现流量控制，确保关键 AI 流量无丢包。 ECN（显式拥塞通知）：通过 IP 头标记拥塞，触发端到端速率调整，避免缓冲区溢出。
2. 实施与运维 部署流程： 硬件搭建：利用现有机柜，分布式部署 32 个 DGX 节点（10.2kW / 节点），优化供电与散热。 软件配置：通过 SONiC CLI 和 config_db JSON 文件配置 BGP、端口聚合（PortChannel），自动化脚本生成配置。 运维工具： 监控：Grafana 仪表盘实时监控 CPU / 内存利用率、接口流量。 备份：Bitbucket 存储 SONiC 配置备份，支持版本管理。 文档：基于 Zabbix 的运行手册（Runbooks），涵盖拓扑、故障排除和升级流程。
3. 经验总结与挑战

关键挑战：

低熵流量导致负载均衡低效，长尾延迟影响作业完成时间（JCT）。

大规模集群中链路故障处理与拥塞管理。

解决方案：

采用分布式调度架构（DSF），通过智能NIC 实现流量预调度，减少拥塞。

CLOS 无阻塞架构结合硬件级负载均衡（如 WECMP），避免哈希偏斜。

未来方向：验证 “分布式调度架构”，提升多作业并发性能，深化 AI 与网络协同优化。