- 综合排序
- 最热优先
- 最新优先
- 来自专栏GiantPandaCV
浅谈混合精度训练imagenet
浅谈混合精度训练imagenet 零、序 本文没有任何的原理和解读，只有一些实验的结论，对于想使用混合精度训练的同学可以直接参考结论白嫖，或者直接拿github上的代码(文末放送)。 二、混合精度训练 混合精度训练，以pytorch 1.6版本为基础的话，大致是有3种方案，依次介绍如下： 模型和输入输出直接half，如果有BN，那么BN计算需要转为FP32精度，我上面的问题就是基于此来训练的 FP16大幅度提升模型的训练速度，可以节省2/5的时间。 四、不同混合精度训练方法对比 实验均在ResNet50和imagenet下面进行的，LR随着BS变换和线性增长，公式如下 实验结果 模型FP16+BNFP32实验记录 模型数据集batchsize（所有卡的总数 Apex混合精度实验记录 模型MODE数据集batchsize（所有卡的总数）优化器LearningRatetop1@accResNet50O1（FP16训练，部分op,layer用FP32计算）ImageNet1k4096SGD
1.6K20发布于 2021-07-23 - 来自专栏自然语言处理
Pytorch自动混合精度训练模板
GitHub 仓库地址：https://github.com/yanqiangmiffy/amp-pytorch Pytorch自动混合精度训练模板 使用 pytorch 的自动混合精度教程 {‘建筑物’ -> 0, ‘森林’ -> 1, ‘冰川’ -> 2, ‘山’ -> 3, ‘海’ -> 4, ‘街道’ -> 5 } 数据集解压直接放在data目录下 data: seg_pred Adam + Cosine Learning rate scheduling with warmup 运行命令 python main.py --checkpoint_name baseline 3 混合精度训练 未使用混合精度训练： for batch_idx, (inputs, labels) in enumerate(data_loader): self.optimizer.zero_grad() self.model(inputs) loss = self.criterion(outputs, labels) loss.backward() self.optimizer.step() 使用混合精度训练
84740编辑于 2023-08-25 - 来自专栏机器学习与生成对抗网络
Pytorch mixed precision 概述（混合精度）
1. 1 首先实例化 torch.cuda.amp.autocast(enable=True) 作为上下文管理器或者装饰器，从而使脚本使用混合精度运行。 torch.nn.CrossEntropyLoss().cuda() # 定义优化器 opt = torch.optim.SGD(net.parameters(), lr=0.001) # 是否使用混合精度训练 set_to_none=True here can modestly improve performance end_timer_and_print("Mixed precision:") 02 混合精度测试 从实验2.1和2.2中，可以发现在batch size=40的情况下，不使用混合精度时，GPU内存占用为7011MB，运行时间为47.55 s。 而使用混合精度时，GPU内存占用为4997MB，运行时间为27.006 s。在当前运行配置中，内存占用节省了约28.73%，运行时间节省了约43.21%。
2.4K30发布于 2021-04-19 CUDA 编程：Tensor Core 与混合精度 GEMM
实现方式 FP32 SGEMM Mixed Precision GEMM 5. 实验结果 5.1 不同矩阵规模性能 5.2 GFLOPS 对比 6. Tensor Core 为什么越大矩阵越快？ Tensor Core + Mixed Precision 例如： Transformer Linear 层 Attention Projection MLP CNN 卷积 大量采用 FP16/BF16 混合精度计算 Tensor Core不是简单降低精度 很多人认为： FP16 = 精度差 实际上： Tensor Core 混合精度： 输入: FP16 计算: FP32 accumulate 输出: FP32 实验结论 本次 Tesla T4 实验得到： Tensor Core 显著提高 GEMM 性能 矩阵越大，Tensor Core优势越明显 混合精度是AI推理的重要优化 CUDA Kernel 可以让我们理解 对于深度学习推理和训练，合理使用 FP16/BF16 混合精度，是获得高吞吐的重要手段。
22300编辑于 2026-07-28- 来自专栏PyVision
只需5行代码，PyTorch 1.6即将原生支持自动混合精度训练。
混合精度是如何工作的 在我们理解混合精度训练是如何工作的之前，首先需要回顾一下浮点数。 2018年ICLR论文 Mixed Precision Training 发现，简单的在每个地方使用 fp16 会“吞掉”梯度更新小于2^-24的值——大约占他们的示例网络所有梯度更新的5% : ? 与其用 fp16跑整个神经网络，不如一些用半精度另外的用单精度。这种 dtypes 的混合就是为什么这种技术被称为“混合精度”。 第三，使用损失缩放。 混合精度训练在技术上已经永远成为可能: 手动运行部分网络在 fp16中，并自己实现损失缩放。自动混合精度训练中令人兴奋的是“自动”部分。 有趣的是，虽然 V100和 T4都受益于混合精度训练，但 T4的好处要大得多: 节省5%时间vs. 高达30%的时间。
1.8K10发布于 2020-09-03 - 来自专栏机器学习爱好者社区
PyTorch重大更新：将支持自动混合精度训练！
AI编辑：我是小将 混合精度训练（mixed precision training）可以让模型训练在尽量不降低性能的情形下提升训练速度，而且也可以降低显卡使用内存。 目前主流的深度学习框架都开始支持混合精度训练。对于PyTorch，混合精度训练还主要是采用NVIDIA开源的apex库。 但是，PyTorch将迎来重大更新，那就是提供内部支持的混合精度训练，而且是自动混合精度训练： ? torch.cuda.amp.GradScaler : 对梯度进行scale来加快模型收敛，因为float16梯度容易出现underflow（梯度过小） 两者结合在一起，可以实现自动混合精度训练： # scaler.update() 当然，混合精度训练肯定要支持分布式训练，由于autocast是thread local的，所以要注意以下不同的情形： 如果使用torch.nn.DataParallel
3K41发布于 2020-11-11 - 来自专栏AI异构
HAWQ：基于 Hessian 的混合精度神经网络量化
HAWQ：基于 Hessian 的混合精度神经网络量化 本文为 UC Berkeley 大学发表在 ICCV 2019上的混合精度量化论文。 但是，将模型统一量化为超低精度会导致精度显着下降。一种新颖的解决方案是使用混合精度量化，因为与其他层相比，网络的某些部分可能允许较低的精度。但是，没有系统的方法来确定不同层的精度。 对于深度网络，蛮力方法不可行，因为混合精度的搜索空间在层数上是指数级的。另一个挑战是在将模型量化到目标精度时用于确定逐块微调顺序复杂度是阶乘级别的。 解决此问题的一种可能方法是使用混合精度量化，其中较高的精度用于网络的某些“敏感”层，而较低的精度用于“非敏感”层。但是，为每一层找到正确精度的搜索空间在层数上是指数级的。 Inception-V3 on ImageNet 消融实验 海森混合精度量化的有效性 ? 海森混合精度量化消融实验 Block-Wise微调的有效性 ? Block-Wise微调消融实验 ? ?
3.6K20发布于 2020-12-08 PyTorch分布式训练与混合精度技术详解
PyTorch分布式训练工作原理：分布式数据并行与混合精度训练导入与数据加载import torchimport torchvisionimport torchvision.transforms as is_main_process(): torch.save(*args, **kwargs)def is_main_process(): return get_rank() == 0混合精度训练混合精度结合了 GPU19.1DistributedDataParallel 2 GPU9.8DistributedDataParallel 4 GPU6.1DistributedDataParallel 4 GPU + 混合精度 混合精度训练通常能提供显著的加速，但在A100 GPU和其他基于Ampere的GPU架构上增益有限。
45210编辑于 2025-11-05- 来自专栏磐创AI技术团队的专栏
Pytorch中的Distributed Data Parallel与混合精度训练（Apex）
除此之外，nn.DataParallel 需要所有的GPU都在一个节点（一台机器）上，且并不支持 Apex 的 混合精度训练. 3. 另外，本文还演示了如何使用Apex进行简单的混合精度分布式训练。 使用Apex进行混合混合精度训练 混合精度训练，即组合浮点数 (FP32)和半精度浮点数 (FP16)进行训练，允许我们使用更大的batchsize，并利用NVIDIA张量核进行更快的计算。 opt_level 从 O0 （全部使用浮点数）一直到 O3 （全部使用半精度浮点数）。而 O1 和 O2 属于不同的混合精度程度，具体可以参阅APEX的官方文档。注意之前数字前面的是大写字母O。 Line37-38：混合精度训练需要缩放损失函数以阻止梯度出现下溢。不过Apex会自动进行这些工作。 这个脚本和之前的分布式训练脚本的运行方式相同。
1.6K20发布于 2021-01-12 - 来自专栏GPUS开发者
【在线视频】如何在GPU上进行混合精度训练
混合精度在计算方法中结合了不同的数值精度。 使用精度低于FP32的系统可以减少内存使用，允许部署更大的网络。 数据传输需要更少的时间，而且计算性能会提高，尤其是在NVIDIA gpu上，它的Tensor Core支持这种精度。 DNNs的混合精度训练实现了两个主要目标: -减少需要的内存，使训练更大的模型或训练更大的小批量 -通过低精度算法降低所需资源，缩短训练/推理时间。 ? 本视频演示了如何在TensorFlow里训练ResNet-50与混合精度。 在这个视频中有五件重要的事情: 混合精度训练可以提高计算性能，并在保持训练精度的同时减少内存带宽。 NVIDIA官网关于混合精度的文档： ?
2.3K10发布于 2018-09-29 - 来自专栏web全栈之路
WPF+HTML5混合开发
做wpf和html混合开发也有一段时间了，从传统桌面开发WPF转到web前端，有相通之处，也有差别比较大的地方，xaml到html都是类似xml的结构，style和web的style类似， 可能是前者接触更久的缘故，毕竟微软的东西，有自己一套成熟的体系，封装的系统且友好，而html与js，有vue.js，react.js等热门前端框架，无论是扩展性，丰富性，社区活跃度都比WPF要好 说到混合开发
1.6K20编辑于 2022-09-29 - 来自专栏育种数据分析之放飞自我
混合线性模型学习笔记5
混合效应或简单混合模型通常是指固定效应和随机效应的混合。我更喜欢混合模型一词，因为它很简单并且没有暗示特定的结构。 3. 标准线性模型 首先，让我们从标准线性模型开始，以熟悉该表示法。 5. 所有可能的混线性模型分析这个数据 因此，我们要考虑数据的集群性质。与其像上面的SLiM中那样忽略聚类，不如考虑为每个人运行完全独立的回归。 5.9 Mixed Model 5b: Multivariate normal model ? 5.10 Mixed Model 6: Penalized regression ? ? ASReml 4.1.0 Wed Apr 5 16:34:50 2020 LogLik Sigma2 DF wall cpu 1 -3817.282 1 混合线性模型学习笔记2 混合线性模型学习笔记3 混合线性模型学习笔记4
1.8K10发布于 2020-05-14 【深度学习 混合精度训练】只看训练过程就够了
混合精度训练：只看训练过程就够了 一句话说清楚混合精度训练 在训练时，用半精度（FP16）算得快，用单精度（FP32）存得稳，两者结合就是混合精度训练。 一、训练时发生了什么变化？ FP32 FP32 FP32 FP32 （稳但慢） （稳但慢） （稳但慢） （稳但慢） （稳但慢） 混合精度训练（FP16+FP32）： criterion(output, target) loss.backward() # 反向 optimizer.step() # 更新 # 启用混合精度后 可以大一点 批量大小 原来的 2倍左右 省下来的内存可以放更多数据 热身（Warmup） 必须用 前几个epoch慢慢提高学习率 示例： # 原来：batch_size=32, lr=0.001 # 混合精度后 invite_code=ky8c508by5
42610编辑于 2026-01-23- 来自专栏DeepHub IMBA
从训练到推理：Intel Extension for PyTorch混合精度优化完整指南
特别是其自动混合精度（Auto-Mixed Precision, AMP）功能，能够在保持模型精度的前提下显著提升计算性能。 自动混合精度技术原理与实现 自动混合精度是一种先进的数值计算优化技术，通过在训练和推理过程中动态选择合适的数据精度来提升计算效率。 自动混合精度系统会自动分析计算图中的每个算子，智能地将数据类型转换为最适合的低精度格式，从而实现计算性能的整体优化。 训练循环的核心在于正确实现自动混合精度的前向传播和反向传播过程。 实验结果表明，通过Intel Extension for PyTorch实现的自动混合精度优化能够在保持模型精度的前提下显著提升训练和推理性能。
86210编辑于 2025-08-20 - 来自专栏GPUS开发者
如何轻松了解深度学习模型中使用了混合精度？
混合精度在计算方法中结合了不同的数值精度。NVIDIA Volta架构和Turing架构的GPU引入了TensorCore，它在单精度数学管道上提供了显著的吞吐量加速。 通过将梯度张量和激活张量上的存储需求和内存流量减半，可以以较低的精度对深度学习网络进行训练，以实现高吞吐量。以下Nvidia工具可以让您分析您的模型是否最大限度地利用TensorCore。
2.7K40发布于 2019-04-29 - 来自专栏IT技术订阅
DeepSeek稀疏化训练与混合精度优化的创新策略
二、混合精度优化策略 （一）FP8混合精度训练框架 混合精度优化是DeepSeek在训练过程中采用的另一种重要策略。 通过灵活使用不同精度的数据格式，混合精度优化能够在保持模型性能的同时，显著提升计算效率和资源利用率。 DeepSeek采用了FP8混合精度训练框架。 为了平衡计算效率和模型性能，DeepSeek在混合精度优化中采用了关键操作保留高精度的策略。 这样可以确保注意力权重的计算结果具有较高的精度，从而提高模型的输出质量。 （三）精细量化策略 在混合精度优化中，量化是另一个关键环节。 此外，混合精度优化通过使用低精度数据格式，进一步提高了计算效率。这种优化使得DeepSeek能够在有限的硬件资源下，实现更高的模型容量。
2.2K10编辑于 2025-02-05 - 来自专栏BestSDK
管理混合云的5个秘诀
如今，“混合”与复杂性似乎是同义词，企业通常担心在IT部门增加更多的工作量，却没有额外的资源来应对。 当企业试图找出解决新出现的混合问题的最佳方法时，他们会以安全、治理和遵从性的视角来解决这一问题。 然而，企业成功的关键在于了解在基于业务需求的混合环境中管理的基本要素。 企业在采用任何混合云管理平台之前，需要考虑以下五个概念。 策略管理：治理要求制定策略并强制实施，管理混合云的人员必须理解这种强制措施，以避免冲突或妨碍操作。 3.建立一个单一管理平台 管理混合云的工作人员也需要管理其复杂性。 5.了解可用的工具 管理混合云的人往往只关注少数几个管理工具，但他们应定期审查他们的需求，以确保他们有足够的工具来配备API管理、资源管理、云管理平台、绩效管理、DevOps管理、安全管理、网络管理
98450发布于 2018-03-02 - 来自专栏企鹅号快讯
管理混合云的5个秘诀
如今，“混合”与复杂性似乎是同义词，企业通常担心在IT部门增加更多的工作量，却没有额外的资源来应对。当企业试图找出解决新出现的混合问题的最佳方法时，他们会以安全、治理和遵从性的视角来解决这一问题。 然而，企业成功的关键在于了解在基于业务需求的混合环境中管理的基本要素。 企业在采用任何混合云管理平台之前，需要考虑以下五个概念。 策略管理：治理要求制定策略并强制实施，管理混合云的人员必须理解这种强制措施，以避免冲突或妨碍操作。 3.建立一个单一管理平台 管理混合云的工作人员也需要管理其复杂性。 例如，IT管理人员可能需要能够向销售人员提供亚秒级响应，以访问和检索混合云中存在的库存应用程序中的数据。 5.了解可用的工具 管理混合云的人往往只关注少数几个管理工具，但他们应定期审查他们的需求，以确保他们有足够的工具来配备API管理、资源管理、云管理平台、绩效管理、DevOps管理、安全管理、网络管理、本地平台管理等等
1K60发布于 2018-01-08 - 来自专栏计算机视觉战队
字节跳动开源8比特混合精度Transformer引擎
降低计算精度是比较直接的方法。2017 年以来，fp16 混合精度技术 [2] 获得了广泛应用。在对模型效果无损的前提下，将模型训练和推理的速度提升了 50% 以上。 而为了维持模型效果，更低精度的方法（例如 int8）通常需要使用如下传统方案： 首先使用 fp16 混合精度将模型训练至收敛； 然后在模型计算密集型算子的权重、输入和输出位置处，插入伪量化结点，进行量化感知训练 由于目前流行的深度学习框架不支持 int8 精度，所以量化感知训练需要插入 fp16 的伪量化结点来模拟 int8 量化，导致量化感知训练反而比 fp16 混合精度训练慢 2-3 倍。 接着将量化模型转换为 LightSeq 支持的 PB 或者 HDF5 模型格式，最后用 LightSeq 进行量化推理。 梯度通信量化 LightSeq 支持 Transformer 模型的梯度通信量化[5]，使用 Fairseq 或者 Hugging Face 即可轻松开启分布式量化训练，并同时支持浮点数模型和量化模型。
1K40编辑于 2023-08-24 - 来自专栏机器之心
字节跳动开源8比特混合精度Transformer引擎
降低计算精度是比较直接的方法。2017 年以来，fp16 混合精度技术 [2] 获得了广泛应用。在对模型效果无损的前提下，将模型训练和推理的速度提升了 50% 以上。 而为了维持模型效果，更低精度的方法（例如 int8）通常需要使用如下传统方案： 首先使用 fp16 混合精度将模型训练至收敛； 然后在模型计算密集型算子的权重、输入和输出位置处，插入伪量化结点，进行量化感知训练 由于目前流行的深度学习框架不支持 int8 精度，所以量化感知训练需要插入 fp16 的伪量化结点来模拟 int8 量化，导致量化感知训练反而比 fp16 混合精度训练慢 2-3 倍。 接着将量化模型转换为 LightSeq 支持的 PB 或者 HDF5 模型格式，最后用 LightSeq 进行量化推理。 梯度通信量化 LightSeq 支持 Transformer 模型的梯度通信量化[5]，使用 Fairseq 或者 Hugging Face 即可轻松开启分布式量化训练，并同时支持浮点数模型和量化模型。
1.5K10编辑于 2022-12-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号