- 综合排序
- 最热优先
- 最新优先
- 来自专栏小锋学长生活大爆炸
【笔记】PyTorch DDP 与 Ring-AllReduce
现在普遍用的较多的是DDP的方式，简单来讲，DDP就是在每个计算节点上复制模型，并独立地生成梯度，然后在每次迭代中互相传递这些梯度并同步，以保持各节点模型的一致性。 而在pytorch中的DDP实际就是使用了Ring-ALLReduce来实现AllReduce算法。 使用相反顺序的原因是，DDP 期望梯度在向后传递期间大致按照该顺序准备就绪。） 实际上，DDP中的设计是通过将全部模型参数划分为无数个小的bucket，然后在bucket级别建立allreduce。 1、Pytorch中分布式训练用的比较多的是DDP； 2、DDP中的Allreduce使用的是ring-allreduce，并且使用bucket来引入异步； 3、Allreduce
2.9K30编辑于 2023-07-31 - 来自专栏tencent cloud
【Debug日志 | DDP 下 BatchNorm 统计失真】
小批量训练“稳不下来”：DDP 下 BatchNorm 统计失真，验证精度大跳水当我们在 4 卡 DDP 上训练一个图像分类模型，每张卡的显存几乎快溢出了，训练 loss 似乎在降，但 val acc , int(os.environ["LOCAL_RANK"])) model = resnet18(num_classes=10).to(device) # 自带 BN model = DDP 在 DDP 各 rank 上打印同一层 BN 的 running_mean，发现彼此差异很大。 修复方案（按优先级）1️⃣ 用 SyncBatchNorm 同步多卡统计（推荐）# 在构建 DDP 之前转换model = torchvision.models.resnet50(num_classes (model, device_ids=[device.index], broadcast_buffers=True) # 保持默认就可注意只有在DDP下才有效；DataParallel 不支持。
36610编辑于 2025-09-11 - 来自专栏AI前沿技术
数据并行｜显存 “减负” 从 DDP 到 FSDP
在实际模型训练中一般采用分布式数据并行 DDP (Distributed Data Parallel)。 """ 在每个host上运行启动命令，建立DDP组，等待每个GPU设备测试通信正常后，即可开始训练。 图1，数据并行设备介绍 2，DDP分布式数据并行 2.1，DDP参数更新过程 分布式训练需要同步每个GPU设备上的梯度，获得一致的参数更新。 小结：DDP通过分布式多进程设计、去中心化梯度同步、计算与通信重叠等优化，显著解决了数据并行的冗余拷贝、线程开销、主GPU瓶颈等问题，适合大规模分布式训练场景。 3，DDP更进一步！ FSDP DDP数据并行中每个GPU设备都拷贝了一份模型状态副本，冗余的拷贝使得显存开销巨大。
33310编辑于 2026-01-13 - 来自专栏AutoML(自动机器学习)
并行训练算法一锅炖: DDP, TP, PP, ZeRO
模型训练过程中涉及到的参数主要包含两大类，model data 和 non-model data，具体表示如下：
6.1K31编辑于 2022-11-30 - 来自专栏数据结构与算法
洛谷P4719 【模板】动态dp(ddp LCT)
题意 题目链接 Sol 动态dp板子题。有些细节还没搞懂，待我研究明白后再补题解。。。 #include<bits/stdc++.h> #define LL long long using name
47230发布于 2019-03-08 - 来自专栏AI SPPECH
68_分布式训练技术：DDP与Horovod
DistributedDataParallel（DDP）技术详解 3.1 DDP工作原理 DistributedDataParallel（DDP）是PyTorch提供的高性能分布式训练工具，它基于多进程实现 提供了多种通信优化选项： # 设置bucket大小 ddp_model = DDP(model, device_ids=[rank], bucket_cap_mb=25) # 禁用c10d优化 ddp_model 和Horovod各有优势： 单节点多卡场景：在单机多卡环境下，DDP和Horovod性能相当，DDP可能略占优势，因为它是PyTorch原生实现。 资源受限环境：在资源受限的环境中，DDP的简单配置可能更容易部署。 5.5 社区支持与生态系统 DDP：作为PyTorch的一部分，DDP有庞大的社区支持和丰富的文档资源。 6.2.2 量化通信 量化通信技术通过压缩梯度数据来减少通信开销： # 在DDP中启用梯度量化 ddp_model = DDP(model, device_ids=[rank], gradient_as_bucket_view
56810编辑于 2025-11-16 - 来自专栏DeepHub IMBA
PyTorch 分布式训练底层原理与 DDP 实战指南
分布式数据并行 (DDP) 工作流 PyTorch 的 DistributedDataParallel (DDP) 是实现数据并行的核心模块，基于 c10d 的 ProcessGroup 进行通信，每个进程 DDP 的标准执行流程如下： 初始化 ProcessGroup：建立进程间的通信握手。 Reduce / All-Reduce: 将所有节点的数据汇总，DDP 中用于梯度同步。 # This is where weights are synchronized across ranks ddp_model = DDP(model) dataset = SimpleDataset DDP Wrapper: DDP(model, device_ids=[rank])。 Data: data.cuda(rank)。
69310编辑于 2025-11-26 - 来自专栏用户2133719的专栏
CS229 课程笔记之十六：LQR, DDP 和 LQG
「LQR」：线性二次调节 「DDP」：微分动态规划 「LQG」：线性二次高斯分布 1 有限范围 MDP 在上一章中我们介绍了马尔可夫决策过程，其中最优贝尔曼公式给出了最优值函数的求解方法： 根据最优值函数 3.2 微分动态规划（DDP） 之前所说的方法适用于优化目标为保持在某个状态 附近，如倒立摆、无人驾驶（保持在路中间）等。而某些情况下，目标往往更加复杂。
2.2K20发布于 2020-08-14 - 来自专栏tencent cloud
DDP分布式的随机卡死，带你从0调试解决
PyTorch DDP 随机卡死复盘：最后一个 batch 挂起，NCCL 等待不返回，三步修复 Sampler & drop_last很多人在接触深度学习的过程往往都是从自己的笔记本开始的，但是从接触工作后 但是这个现象在关掉 DDP（单卡训练）完全正常；把 batch_size 改小/大，卡住概率改变但仍会发生。️ 场景重现当我们的问题在单卡不会出现，但是多卡会出现问题的时候，问题点集中在数据的问题上。 True, sampler=sampler, num_workers=4) model = torch.nn.Linear(3*224*224, 10).to(device) model = DDP (ddp.parameters(), lr=0.1) for epoch in range(5): sampler.set_epoch(epoch) # ✅ 关键 3：每个 epoch True) opt.zero_grad(set_to_none=True) loss = torch.nn.functional.cross_entropy(ddp
86710编辑于 2025-09-04 - 来自专栏tencent cloud
【Debug日志 | DDP + AMP + 梯度累积下有效学习率被放大】
训练突然“炸掉”：DDP + AMP + 梯度累积下有效学习率被放大 场景：在多卡 DDP、开启 AMP（混合精度）模式下，同时采用了梯度累积（gradient accumulation） 做大 batch torch.nn as nn, torch.distributed as dist from torch.nn.parallel import DistributedDataParallel as DDP torch.nn as nn, torch.distributed as dist from torch.nn.parallel import DistributedDataParallel as DDP
41310编辑于 2025-09-08 - 来自专栏罗西的思考
PyTorch 分布式(17) --- 结合DDP和分布式 RPC 框架
[源码解析] PyTorch 分布式(17) --- 结合DDP和分布式 RPC 框架 目录 [源码解析] PyTorch 分布式(17) --- 结合DDP和分布式 RPC 框架 0x00 摘要 0x00 本文介绍如何把DDP和RPC framework结合起来。 Trainer 创建一个HybridModel，其首先使用 master 提供的远程模块执行嵌入查找（embedding lookup），然后执行封装在 DDP 中的 FC 层。 作为反向传播的一部分，首先计算 FC 层的梯度，并通过 DDP 中的 allreduce 同步到所有trainer。 它使用 RemoteModule 在参数服务器上执行嵌入查找forward ，并将其输出传播到 FC 层，这里的 FC 使用了DDP。
80420编辑于 2021-12-17 - 来自专栏晓飞的算法工程笔记
DDP：微软提出动态detection head选择，适配计算资源有限场景 | CVPR 2022
论文: Should All Proposals be Treated Equally in Object Detection?
36910编辑于 2024-07-08 - 来自专栏AI前沿技术
简述数据并行 - DP, DDP, FSDP的数据分片、梯度同步和参数更新过程
""" 在每个host上运行启动命令，建立DDP组，等待每个GPU设备测试通信正常后，即可开始训练。 2，DDP参数更新过程 分布式训练需要同步每个GPU设备上的梯度，获得一致的参数更新。 更详细的通信量计算可以参考/[2]/[3] 总结：DDP通过分布式多进程设计、去中心化梯度同步、计算与通信重叠等优化，显著解决了 DP的冗余拷贝、线程开销、主GPU瓶颈等问题，尤其适合大规模分布式训练场景 3，DDP更进一步！ 4，总结 DP-DDP-FSDP， 是pytorch的官方实现，兼容性较好，推荐使用DDP。 与DDP相同，数据直接加载到各GPU内存中。 参数更新 主GPU更新后，将参数广播到其他GPU。 各GPU独立更新，所有GPU给予同步后的梯度独立更新本地完整模型参数。 分片独立更新。
71710编辑于 2026-01-13 - 来自专栏Python与算法之美
速度为单GPU1.6倍，kaggle双GPU(ddp模式)加速pytorch攻略
和标准的 pytorch 方法相比，使用accelerate 进行多GPU DDP模式/TPU/fp16 训练你的模型变得非常简单(只需要在标准的pytorch训练代码中改动不几行代码就可以适应于cpu /单GPU/多GPU的DDP模式/TPU 等不同的训练环境)，而且速度与原生pytorch相当，非常之快。 在我们的演示范例中，在kaggle的双GPU环境下，双GPU的DDP模式是单GPU训练速度的1.6倍，加速效果非常明显。 公众号算法美食屋后台回复关键词：ddp 获取本教程完整jupyter notebook代码和B站视频演示范例。 DP和DDP的区别 DP(DataParallel）：实现简单但更慢。只能单机多卡使用。 DDP(DistributedDataParallel)：更快但实现麻烦。可单机多卡也可多机多卡。各个GPU是平等的，无负载不均衡。
3.1K40编辑于 2023-02-23 - 来自专栏Python与算法之美
深度学习里面有没有支持Multi-GPU-DDP模式的pytorch模型训练代码模版？
最近，通过引入HuggingFace的accelerate库的功能，torchkeras进一步支持了 多GPU的DDP模式和TPU设备上的模型训练。 这里给大家演示一下，非常强大和丝滑。 评估模型 model.net.load_state_dict(torch.load('checkpoint.pt')) print(model.evaluate(dl_val)) 二，使用多GPU DDP accelerate config 2，训练代码 在我们的范例中，双GPU使用DDP模式训练的话，一个Epoch大约是12s。
83640编辑于 2023-02-23 - 来自专栏我爱计算机视觉
PyTorch如何加速数据并行训练？分布式秘籍大揭秘
下面的代码是使用 DDP 模型的示例： ? 梯度下降 研究者阐述了在 PyTorch 上进行分布式数据并行训练的几种梯度降低技术。DDP 中的梯度下降算法已经有了新的改进。 以下算法 1 给出了 DDP 的伪代码： ? 下图 4 展示了 DDP 在前向传播和反向传播过程中如何与本地模型交互： ? Python 前端 Python 前端中的实现细节决定了 DDP 的行为。可配置的 Knobs 在 DDP 构造函数 API 中开放。 DDP 通过让 rank 为 0 的进程获得授权来支持模型缓冲器。 核心梯度下降 开发过程中的主要工作就是梯度降低，它也是 DDP 中决定性能的关键步骤。 Autograd Hook 是 DDP 反向传播的进入点。在构造期间，DDP 遍历模型中的所有参数，找出每个参数的梯度累加器，并且为每个梯度累加器安装相同的 post-hook 函数。
1.1K20发布于 2020-07-17 - 来自专栏机器之心
PyTorch如何加速数据并行训练？分布式秘籍大揭秘
下面的代码是使用 DDP 模型的示例： ? 梯度下降 研究者阐述了在 PyTorch 上进行分布式数据并行训练的几种梯度降低技术。DDP 中的梯度下降算法已经有了新的改进。 以下算法 1 给出了 DDP 的伪代码： ? 下图 4 展示了 DDP 在前向传播和反向传播过程中如何与本地模型交互： ? Python 前端 Python 前端中的实现细节决定了 DDP 的行为。可配置的 Knobs 在 DDP 构造函数 API 中开放。 DDP 通过让 rank 为 0 的进程获得授权来支持模型缓冲器。 核心梯度下降 开发过程中的主要工作就是梯度降低，它也是 DDP 中决定性能的关键步骤。 Autograd Hook 是 DDP 反向传播的进入点。在构造期间，DDP 遍历模型中的所有参数，找出每个参数的梯度累加器，并且为每个梯度累加器安装相同的 post-hook 函数。
1.3K30发布于 2020-07-14 - 来自专栏罗西的思考
[源码解析] PyTorch分布式(5) ------ DistributedDataParallel 总述&如何使用
以下是 DDP 的整体架构，大家可以看到ddp在整个架构之中的位置，依赖项等等。图片来自来自源码。 我们通过一个图来说明 DDP 的运行逻辑。 3.2 实现区别 DDP 与DP在具体实现上的区别如下： 关于优化器： DDP ：在每次迭代之中，DDP 的每个进程都有自己的 optimizer ，每个进程都独立完成所有优化步骤，这和非分布式训练一样 请注意，由于 DDP 将模型状态从 rank 0 进程广播到 DDP 构造函数中的所有其他进程，因此对于所有 DDP 进程来说，它们的起始模型参数是一样的，用户无需担心不同的 DDP 进程从不同的模型参数初始值开始 DDP 也适用于多 GPU 模型。DDP 在使用大数据训练大模型时候特别有用。 5.4 示例应用 此示例 DDP 应用程序基于 DDP 教程 的 “Hello, World” 应用。
2.7K41发布于 2021-11-18 - 来自专栏相约机器人
PyTorch如何加速数据并行训练？分布式秘籍大揭秘
下面的代码是使用 DDP 模型的示例： ? 梯度下降 研究者阐述了在 PyTorch 上进行分布式数据并行训练的几种梯度降低技术。DDP 中的梯度下降算法已经有了新的改进。 以下算法 1 给出了 DDP 的伪代码： ? 下图 4 展示了 DDP 在前向传播和反向传播过程中如何与本地模型交互： ? Python 前端 Python 前端中的实现细节决定了 DDP 的行为。可配置的 Knobs 在 DDP 构造函数 API 中开放。 DDP 通过让 rank 为 0 的进程获得授权来支持模型缓冲器。 核心梯度下降 开发过程中的主要工作就是梯度降低，它也是 DDP 中决定性能的关键步骤。 Autograd Hook 是 DDP 反向传播的进入点。在构造期间，DDP 遍历模型中的所有参数，找出每个参数的梯度累加器，并且为每个梯度累加器安装相同的 post-hook 函数。
1.1K20发布于 2020-07-17 - 来自专栏罗西的思考
[源码解析] PyTorch 分布式(8) -------- DistributedDataParallel之论文篇
第4.1节介绍了推动DDP API设计的一般原则。第4.2节介绍Pyrotch分布式数据并行包中使用的扩展梯度归并技术。最后，第4.3节讨论了DDP的集合通信后端选项。 请注意，此更改并不妨碍我们开发非侵入式API，因为应用程序可以直接调用DDP上的forward函数，并且DDP可以轻松地将此步骤插入其成员函数中。 下面算法给出了DDP的伪码。 DDP也适用于多设备模型。只要将 device_ids参数设置为None或空列表，DDP就会检查模型，执行健全性检查并相应地应用配置。然后，将多设备模型视为一个整体。 DDP按model.parameters()的相反顺序启动AllReduce。 Autograd Hook是DDP在后向传播中的切入点。 每个post-hook函数都会递减计数，当计数为零时，DDP会将一个桶标记为就绪。在下一次向前传播中，DDP会为每个桶补齐待定的累积计数。
1.7K20发布于 2021-11-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号