RDMA 高性能网络在 AI 训练中的应用：TKE 如何保障分布式训练效率

摘要：

RDMA 远程直接内存访问技术通过绕过 CPU 内核实现节点间高速数据传输，显著降低大规模 AI 分布式训练的通信延迟。腾讯云容器服务 TKE 提供统一 GID Index、NUMA 亲和调度等 RDMA 方案优化能力，保障多机协同训练场景下的梯度同步效率和整体训练性能。

一、分布式 AI 训练的网络瓶颈挑战

随着大语言模型参数规模从十亿级迈向万亿级，单台设备的算力和显存已无法满足训练需求。现代 AI 训练普遍采用分布式架构，将模型切分到多个 GPU 节点上并行计算。在这种模式下，各节点之间需要频繁交换梯度信息和模型参数，网络通信开销在整个训练时间中的占比越来越高。

以典型的 AllReduce 集合通信为例，在多节点训练中，每个 GPU 完成本地梯度计算后，需要与其他所有节点的 GPU 进行数据同步。当模型参数量达到数百 GB 时，单次 AllReduce 操作涉及的数据传输量巨大。如果网络带宽不足或延迟过高，GPU 将花费大量时间等待数据到达，造成昂贵的算力资源闲置。行业经验表明，在网络成为瓶颈的情况下，AllReduce 阶段可能占到整个训练步骤时间的百分之二十到三十。

传统的 TCP/IP 网络协议栈在处理高带宽数据传输时存在固有局限。每次数据传输都需要经过操作系统内核的多次上下文切换和内存拷贝，在高带宽场景下会消耗大量 CPU 资源并引入不可忽视的延迟。当网络带宽达到一百 Gbps 以上时，这种内核处理开销成为制约集群性能的明显瓶颈。

二、RDMA 技术的核心原理与优势

2.1 零拷贝与内核旁路

RDMA 即 Remote Direct Memory Access，中文称为远程直接内存访问。这项技术的核心在于允许一台计算机直接访问另一台计算机的内存，而无需双方操作系统的内核介入。数据传输过程绕过了 CPU 和内核协议栈，由网卡硬件直接完成数据的读取和写入操作。

零拷贝特性意味着应用程序的数据不需要在用户空间和内核空间之间反复复制。在传统网络通信中，数据从应用缓冲区到网卡发送缓冲区需要经过至少两次拷贝操作，而 RDMA 将这些拷贝完全消除。对于大规模的梯度同步操作，这节省了大量的内存带宽和 CPU 周期。

内核旁路机制进一步降低了通信延迟。应用程序可以直接向网卡发送命令，省去了系统调用和内核协议处理的开销。在低延迟要求极高的分布式训练场景中，这一特性使得节点间的通信延迟可以从微秒级降低到纳秒级。

2.2 RDMA 的主要实现方式

目前主流的 RDMA 实现包括三种技术路线。InfiniBand 是专为高性能计算设计的网络标准，提供极高的吞吐量和极低的延迟，但需要专用的交换机和网卡，成本较高。RoCE 即 RDMA over Converged Ethernet，允许在以太网上运行 RDMA 协议，其中 RoCE v2 基于 UDP/IP 可以跨三层网络路由，是目前数据中心的主流选择。iWARP 基于 TCP/IP 协议栈实现 RDMA，对网络设备要求较低但性能通常不如前两者。

在 Kubernetes 容器环境中，如何将物理节点的 RDMA 设备暴露给 Pod 使用是关键技术问题。这需要解决设备发现与管理、Pod 配置挂载、网络方案选择等一系列挑战。

三、TKE RDMA 方案的架构设计

3.1 统一 GID Index 简化配置

TKE 的 RDMA 方案提供了统一 GID Index 的能力。GID 即 Global Identifier，是 RDMA 网络中用于标识端口的全局唯一地址。在传统的 RDMA 部署中，用户需要在 Pod 内部引入额外的脚本动态获取 GID 信息，以便配置 NCCL 等通信库的网络接口。这个过程不仅增加了部署复杂度，还容易因配置错误导致通信失败。

TKE 通过平台层面的统一管理，自动为 RDMA 设备分配和注册 GID 索引。用户在分布式推理或训练任务中无需手动处理这些底层细节，NCCL 通信的配置得以大幅简化。这种透明化的处理方式降低了 RDMA 技术的使用门槛，让更多团队能够享受到高性能网络带来的性能提升。

3.2 NUMA 亲和调度优化

现代服务器通常采用多 NUMA 架构，CPU、内存和 I/O 设备被分组到不同的 NUMA 节点上。同一 NUMA 节点内的设备之间通信速度最快，跨 NUMA 访问则会产生额外延迟。在同时配备 GPU 和 RDMA 网卡的训练节点上，如果 GPU 和 RDMA 设备位于不同的 NUMA 节点，数据传输就需要跨越 NUMA 边界，影响整体性能。

TKE 实现了 GPU 和 RDMA 设备的 NUMA 亲和分配策略。当调度器为一个需要 RDMA 通信的训练 Pod 选择节点时，会优先将 Pod 调度到 GPU 和 RDMA 网卡处于同一 NUMA 节点的拓扑位置。这种感知硬件拓扑的智能调度减少了跨 NUMA 访问，提升了端到端的通信效率。

3.3 原生节点直通支持

TKE 支持用户通过原生节点加入 HCC 集群的方式使用 RDMA 加 GPU 进行训练和推理。原生节点模式提供了基础设施声明式 API，用户可以像管理普通工作负载一样管理 RDMA 设备资源。Kubelet 启用 Topology Manager 后，配合最佳努力的拓扑管理策略，能够实现更精细的设备亲和性控制。

四、典型应用场景

4.1 多节点分布式模型训练

在大规模深度学习训练中，模型通常被切分到多个 GPU 上进行并行训练。每个 GPU 完成本地的前向和反向传播后，需要通过 AllReduce 等操作与其他 GPU 同步梯度。RDMA 的高速互联能力确保了梯度同步的低延迟和高吞吐，显著缩短了每个训练步骤的时间。

对于超大规模模型的训练，往往需要数十甚至上百个节点协同工作。在这种情况下，网络拓扑结构和通信效率对整体训练速度的影响尤为显著。RDMA 提供的无损网络传输保证了大规模集群中的通信可靠性，避免了因数据包丢失导致的重传延迟。

4.2 多机推理与 KVCache 共享

大模型推理服务在跨节点部署时同样受益于 RDMA 技术。当单个模型的参数无法装入单张 GPU 的显存时，需要将模型切分到多个节点上进行推理。节点间的前向传播数据传递对延迟极为敏感，RDMA 的低延迟特性确保了推理服务的响应时间满足生产要求。

分布式 KVCache 是另一个重要的应用场景。在多节点间共享 KV Cache 时，通过 RDMA 实现高速缓存访问可以优化大模型推理的整体性能。Prefill 和 Decode 分离架构中，两个阶段之间的中间状态传输也可以通过 RDMA 高效完成，提升资源利用率。

4.3 强化学习训练

强化学习和深度学习模型训练需要长期、高并发、高通信效率的资源支持。TKE 针对分布式作业优化了资源分配和拓扑感知调度能力。当节点发生故障时，训练任务可以根据故障通知自动执行 Checkpoint 恢复，保障训练时长和成果不受损失。RDMA 网络在此类长时间运行的训练任务中，持续提供稳定的高速通信保障。

五、部署实践与注意事项

5.1 环境准备要点

在 TKE 集群中使用 RDMA 加速需要满足一定的前提条件。首先需要创建并部署好 TKE 集群，然后购买 RDMA 实例并将 RDMA 网络命名空间设置为共享模式。Kubelet 建议启用 Topology Manager，推荐配置为 best-effort 策略以实现 NUMA 亲和调度。

rdma-agent 组件可以通过容器服务控制台的集群组件管理界面进行安装。安装完成后，该组件负责管理和监控节点上的 RDMA 设备状态，确保其正常工作。

5.2 性能验证方法

部署 RDMA 后，应当通过实际测试验证其工作状态和性能表现。可以在 Pod 内部运行标准的 RDMA 性能测试工具，测量节点间的实际带宽和延迟。对比开启 RDMA 前后的网络性能数据，确认 RDMA 已经正确生效并达到了预期的加速效果。

需要注意的是，仅仅在节点层面配置了 RDMA 并不等同于 Pod 内部的 RDMA 可用。必须确保 RDMA 设备正确挂载到了 Pod 内部，并且应用程序使用了正确的通信库和网络接口。只有通过 Pod 内部的实测数据才能最终确认 RDMA 加速是否真正发挥作用。

分布式训练中 50% 的时间可能都浪费在网络通信上。用 TKE 的 RDMA 高性能网络把通信延迟降到微秒级，让每一张 GPU 卡都跑满算力而不是等待数据 → https://cloud.tencent.com/product/tke