- 综合排序
- 最热优先
- 最新优先
- 来自专栏GiantPandaCV
浅谈混合精度训练imagenet
浅谈混合精度训练imagenet 零、序 本文没有任何的原理和解读，只有一些实验的结论，对于想使用混合精度训练的同学可以直接参考结论白嫖，或者直接拿github上的代码(文末放送)。 二、混合精度训练 混合精度训练，以pytorch 1.6版本为基础的话，大致是有3种方案，依次介绍如下： 模型和输入输出直接half，如果有BN，那么BN计算需要转为FP32精度，我上面的问题就是基于此来训练的 OMP & MKL num workers BatchSize FP16 epoch time 1 48 256 No 7:47 2 48 256 No 7:51 4 48 256 No 7:50 1 四、不同混合精度训练方法对比 实验均在ResNet50和imagenet下面进行的，LR随着BS变换和线性增长，公式如下 实验结果 模型FP16+BNFP32实验记录 模型数据集batchsize（所有卡的总数 Apex混合精度实验记录 模型MODE数据集batchsize（所有卡的总数）优化器LearningRatetop1@accResNet50O1（FP16训练，部分op,layer用FP32计算）ImageNet1k4096SGD
1.6K20发布于 2021-07-23 - 来自专栏自然语言处理
Pytorch自动混合精度训练模板
GitHub 仓库地址：https://github.com/yanqiangmiffy/amp-pytorch Pytorch自动混合精度训练模板 使用 pytorch 的自动混合精度教程 Adam + Cosine Learning rate scheduling with warmup 运行命令 python main.py --checkpoint_name baseline 3 混合精度训练 未使用混合精度训练： for batch_idx, (inputs, labels) in enumerate(data_loader): self.optimizer.zero_grad() self.model(inputs) loss = self.criterion(outputs, labels) loss.backward() self.optimizer.step() 使用混合精度训练
84740编辑于 2023-08-25 - 来自专栏机器学习与生成对抗网络
Pytorch mixed precision 概述（混合精度）
1. 1 首先实例化 torch.cuda.amp.autocast(enable=True) 作为上下文管理器或者装饰器，从而使脚本使用混合精度运行。 torch.nn.CrossEntropyLoss().cuda() # 定义优化器 opt = torch.optim.SGD(net.parameters(), lr=0.001) # 是否使用混合精度训练 set_to_none=True here can modestly improve performance end_timer_and_print("Mixed precision:") 02 混合精度测试 从实验2.1和2.2中，可以发现在batch size=40的情况下，不使用混合精度时，GPU内存占用为7011MB，运行时间为47.55 s。 而使用混合精度时，GPU内存占用为4997MB，运行时间为27.006 s。在当前运行配置中，内存占用节省了约28.73%，运行时间节省了约43.21%。
2.4K30发布于 2021-04-19 CUDA 编程：Tensor Core 与混合精度 GEMM
7. 矩阵尺寸对 Tensor Core 的影响 8. Tensor Core不是简单降低精度 9. Tensor Core + Mixed Precision 例如： Transformer Linear 层 Attention Projection MLP CNN 卷积 大量采用 FP16/BF16 混合精度计算 Tensor Core不是简单降低精度 很多人认为： FP16 = 精度差 实际上： Tensor Core 混合精度： 输入: FP16 计算: FP32 accumulate 输出: FP32 实验结论 本次 Tesla T4 实验得到： Tensor Core 显著提高 GEMM 性能 矩阵越大，Tensor Core优势越明显 混合精度是AI推理的重要优化 CUDA Kernel 可以让我们理解 对于深度学习推理和训练，合理使用 FP16/BF16 混合精度，是获得高吞吐的重要手段。
22300编辑于 2026-07-28- 来自专栏机器学习爱好者社区
PyTorch重大更新：将支持自动混合精度训练！
AI编辑：我是小将 混合精度训练（mixed precision training）可以让模型训练在尽量不降低性能的情形下提升训练速度，而且也可以降低显卡使用内存。 目前主流的深度学习框架都开始支持混合精度训练。对于PyTorch，混合精度训练还主要是采用NVIDIA开源的apex库。 但是，PyTorch将迎来重大更新，那就是提供内部支持的混合精度训练，而且是自动混合精度训练： ? torch.cuda.amp.GradScaler : 对梯度进行scale来加快模型收敛，因为float16梯度容易出现underflow（梯度过小） 两者结合在一起，可以实现自动混合精度训练： # scaler.update() 当然，混合精度训练肯定要支持分布式训练，由于autocast是thread local的，所以要注意以下不同的情形： 如果使用torch.nn.DataParallel
3K41发布于 2020-11-11 - 来自专栏AI异构
HAWQ：基于 Hessian 的混合精度神经网络量化
HAWQ：基于 Hessian 的混合精度神经网络量化 本文为 UC Berkeley 大学发表在 ICCV 2019上的混合精度量化论文。 但是，将模型统一量化为超低精度会导致精度显着下降。一种新颖的解决方案是使用混合精度量化，因为与其他层相比，网络的某些部分可能允许较低的精度。但是，没有系统的方法来确定不同层的精度。 解决此问题的一种可能方法是使用混合精度量化，其中较高的精度用于网络的某些“敏感”层，而较低的精度用于“非敏感”层。但是，为每一层找到正确精度的搜索空间在层数上是指数级的。 L0=2#范数类型 v = np.matrix([[-2.],[-7.],[1.]]) Inception-V3 on ImageNet 消融实验 海森混合精度量化的有效性 ? 海森混合精度量化消融实验 Block-Wise微调的有效性 ? Block-Wise微调消融实验 ? ?
3.6K20发布于 2020-12-08 PyTorch分布式训练与混合精度技术详解
PyTorch分布式训练工作原理：分布式数据并行与混合精度训练导入与数据加载import torchimport torchvisionimport torchvision.transforms as is_main_process(): torch.save(*args, **kwargs)def is_main_process(): return get_rank() == 0混合精度训练混合精度结合了 GPU19.1DistributedDataParallel 2 GPU9.8DistributedDataParallel 4 GPU6.1DistributedDataParallel 4 GPU + 混合精度 混合精度训练通常能提供显著的加速，但在A100 GPU和其他基于Ampere的GPU架构上增益有限。
45210编辑于 2025-11-05- 来自专栏磐创AI技术团队的专栏
Pytorch中的Distributed Data Parallel与混合精度训练（Apex）
除此之外，nn.DataParallel 需要所有的GPU都在一个节点（一台机器）上，且并不支持 Apex 的 混合精度训练. 3. 另外，本文还演示了如何使用Apex进行简单的混合精度分布式训练。 使用Apex进行混合混合精度训练 混合精度训练，即组合浮点数 (FP32)和半精度浮点数 (FP16)进行训练，允许我们使用更大的batchsize，并利用NVIDIA张量核进行更快的计算。 opt_level 从 O0 （全部使用浮点数）一直到 O3 （全部使用半精度浮点数）。而 O1 和 O2 属于不同的混合精度程度，具体可以参阅APEX的官方文档。注意之前数字前面的是大写字母O。 Line37-38：混合精度训练需要缩放损失函数以阻止梯度出现下溢。不过Apex会自动进行这些工作。 这个脚本和之前的分布式训练脚本的运行方式相同。
1.6K20发布于 2021-01-12 - 来自专栏GPUS开发者
【在线视频】如何在GPU上进行混合精度训练
混合精度在计算方法中结合了不同的数值精度。 使用精度低于FP32的系统可以减少内存使用，允许部署更大的网络。 数据传输需要更少的时间，而且计算性能会提高，尤其是在NVIDIA gpu上，它的Tensor Core支持这种精度。 DNNs的混合精度训练实现了两个主要目标: -减少需要的内存，使训练更大的模型或训练更大的小批量 -通过低精度算法降低所需资源，缩短训练/推理时间。 ? 本视频演示了如何在TensorFlow里训练ResNet-50与混合精度。 在这个视频中有五件重要的事情: 混合精度训练可以提高计算性能，并在保持训练精度的同时减少内存带宽。 NVIDIA官网关于混合精度的文档： ?
2.3K10发布于 2018-09-29 混合云架构的7个规则
IDC并不是唯一一家预测混合云计算企业采用率将会升高的企业，Gartner Group也预测，到2017年，50％的企业将部署混合云，DZone的2015年云开发调查显示，目前有50％的受众使用混合云技术 混合云架构经常被描述为“私有云和公共云共享资源”。但事实上，许多混合架构只是利用公共云资源与私有托管应用程序相结合。 本文将介绍采用混合云架构时要考虑的七条规则。 规则1：您正在扩大您的业务范围 部署混合云体系结构时要牢记的最重要的事情之一是，您正在扩大您的业务范围。 但是，混合云体系结构有时会遭受“反向数据引力”的困扰，因为使用混合云意味着在私有托管环境中保留（某些）数据。也就是说，托管在公有云中的进程从私有方绘制数据。 规则7：测试，测试然后再测试 测试您的混合云架构需要了解构建分布式应用程序的常见问题。网络变得如此可靠，有时我们认为我们的数据包会到达目的地。
3.8K71发布于 2018-01-03混合云架构的7个规则
IDC并不是唯一一家给出混合云计算企业采用率很高的预测的企业，Gartner Group也预测，到2017年，50％的企业将部署混合云。 DZone的2015年云开发调查显示，目前有50％的受众使用混合云技术。 混合云架构经常被描述为“私有云和公共云共享资源”。但事实上，许多混合架构只是利用公共云资源与私有托管应用程序相结合。 本文将介绍采用混合云架构时需要考虑的七条规则。 规则1：您正在扩大您的业务足迹 部署混合云体系结构时要牢记的最重要的事情之一是，您正在扩大您的业务足迹。 但是，混合云体系结构有时会遭受“反向数据引力”的困扰，因为使用混合云意味着在私有托管环境中保留（某些）数据。也就是说，托管在公共云中的进程从私有云中提取数据。 规则7：测试，测试，然后，再测试 测试您的混合云架构需要了解构建分布式应用程序的常见问题。网络已经变得如此可靠，有时我们确信我们的数据包会到达目的地。
2.6K50发布于 2018-01-10【深度学习 混合精度训练】只看训练过程就够了
混合精度训练：只看训练过程就够了 一句话说清楚混合精度训练 在训练时，用半精度（FP16）算得快，用单精度（FP32）存得稳，两者结合就是混合精度训练。 一、训练时发生了什么变化？ FP32 FP32 FP32 FP32 （稳但慢） （稳但慢） （稳但慢） （稳但慢） （稳但慢） 混合精度训练（FP16+FP32）： criterion(output, target) loss.backward() # 反向 optimizer.step() # 更新 # 启用混合精度后 可以大一点 批量大小 原来的 2倍左右 省下来的内存可以放更多数据 热身（Warmup） 必须用 前几个epoch慢慢提高学习率 示例： # 原来：batch_size=32, lr=0.001 # 混合精度后 前向计算（自动混合精度） with autocast(): output = model(data) loss = nn.CrossEntropyLoss
42610编辑于 2026-01-23- 来自专栏DeepHub IMBA
从训练到推理：Intel Extension for PyTorch混合精度优化完整指南
特别是其自动混合精度（Auto-Mixed Precision, AMP）功能，能够在保持模型精度的前提下显著提升计算性能。 自动混合精度技术原理与实现 自动混合精度是一种先进的数值计算优化技术，通过在训练和推理过程中动态选择合适的数据精度来提升计算效率。 自动混合精度系统会自动分析计算图中的每个算子，智能地将数据类型转换为最适合的低精度格式，从而实现计算性能的整体优化。 训练循环的核心在于正确实现自动混合精度的前向传播和反向传播过程。 实验结果表明，通过Intel Extension for PyTorch实现的自动混合精度优化能够在保持模型精度的前提下显著提升训练和推理性能。
86210编辑于 2025-08-20 - 来自专栏GPUS开发者
如何轻松了解深度学习模型中使用了混合精度？
混合精度在计算方法中结合了不同的数值精度。NVIDIA Volta架构和Turing架构的GPU引入了TensorCore，它在单精度数学管道上提供了显著的吞吐量加速。 通过将梯度张量和激活张量上的存储需求和内存流量减半，可以以较低的精度对深度学习网络进行训练，以实现高吞吐量。以下Nvidia工具可以让您分析您的模型是否最大限度地利用TensorCore。
2.7K40发布于 2019-04-29 - 来自专栏IT技术订阅
DeepSeek稀疏化训练与混合精度优化的创新策略
二、混合精度优化策略 （一）FP8混合精度训练框架 混合精度优化是DeepSeek在训练过程中采用的另一种重要策略。 通过灵活使用不同精度的数据格式，混合精度优化能够在保持模型性能的同时，显著提升计算效率和资源利用率。 DeepSeek采用了FP8混合精度训练框架。 为了平衡计算效率和模型性能，DeepSeek在混合精度优化中采用了关键操作保留高精度的策略。 这样可以确保注意力权重的计算结果具有较高的精度，从而提高模型的输出质量。 （三）精细量化策略 在混合精度优化中，量化是另一个关键环节。 此外，混合精度优化通过使用低精度数据格式，进一步提高了计算效率。这种优化使得DeepSeek能够在有限的硬件资源下，实现更高的模型容量。
2.2K10编辑于 2025-02-05 - 来自专栏云计算D1net
混合云存储的7个最佳实践
混合云存储可以帮助企业控制成本，并增加灵活性，还提供其他好处。了解最佳实践并避免陷阱很重要。 采用混合云存储可能会为企业节省数百万美元的成本，这是一个很有吸引力的提议，尤其是现在。 Stephenson说：“混合云存储的采用正在持续增长。全球主要云计算提供商正在努力克服与混合云存储相关的挑战。此外，主要的存储平台提供商正在继续构建连接和管理云存储平台所需的功能。” 7种混合云存储最佳实践 混合云存储架构可以支持企业IT部门的目标，以推动规模经济，提高IT运营模型效率，减少总体支出，以及淘汰老旧存储设备。 混合云存储使数据可迁移性、跨云数据共享和国际边界数据治理成为关键问题。 (7)不要担心进展缓慢 Stephenson说，“存储迁移并不是一个快速的过程。企业必须制定政策并让他们适应一段时间，然后才能看到收益。
2.6K10发布于 2020-11-19 - 来自专栏计算机视觉战队
字节跳动开源8比特混合精度Transformer引擎
降低计算精度是比较直接的方法。2017 年以来，fp16 混合精度技术 [2] 获得了广泛应用。在对模型效果无损的前提下，将模型训练和推理的速度提升了 50% 以上。 而为了维持模型效果，更低精度的方法（例如 int8）通常需要使用如下传统方案： 首先使用 fp16 混合精度将模型训练至收敛； 然后在模型计算密集型算子的权重、输入和输出位置处，插入伪量化结点，进行量化感知训练 由于目前流行的深度学习框架不支持 int8 精度，所以量化感知训练需要插入 fp16 的伪量化结点来模拟 int8 量化，导致量化感知训练反而比 fp16 混合精度训练慢 2-3 倍。 算子融合 上图是 encoder 模块量化训练的计算图，LightSeq 将两次 GEMM 运算之间的所有操作融合成一个算子[7]，减少了 kernel 调用的次数，因此减少了总的计算时间。 Parameterized clipping activation for quantized neural networks." arXiv preprint arXiv:1805.06085 (2018). [7]
1K40编辑于 2023-08-24 - 来自专栏机器之心
字节跳动开源8比特混合精度Transformer引擎
降低计算精度是比较直接的方法。2017 年以来，fp16 混合精度技术 [2] 获得了广泛应用。在对模型效果无损的前提下，将模型训练和推理的速度提升了 50% 以上。 而为了维持模型效果，更低精度的方法（例如 int8）通常需要使用如下传统方案： 首先使用 fp16 混合精度将模型训练至收敛； 然后在模型计算密集型算子的权重、输入和输出位置处，插入伪量化结点，进行量化感知训练 由于目前流行的深度学习框架不支持 int8 精度，所以量化感知训练需要插入 fp16 的伪量化结点来模拟 int8 量化，导致量化感知训练反而比 fp16 混合精度训练慢 2-3 倍。 算子融合 上图是 encoder 模块量化训练的计算图，LightSeq 将两次 GEMM 运算之间的所有操作融合成一个算子[7]，减少了 kernel 调用的次数，因此减少了总的计算时间。 Parameterized clipping activation for quantized neural networks." arXiv preprint arXiv:1805.06085 (2018). [7]
1.5K10编辑于 2022-12-15 - 来自专栏从流域到海域
大模型高效训练基础知识：fp16与混合精度训练
计算机表示浮点数有多种精度，其中Float16和Float32最为常见，即 fp32: Sign(1bit) + Range(8 bits) + Precision(23 bits) fp16: Sign (1bit) + Range(5 bits) + Precision(10 bits) GPU是一种专精浮点数运算的硬件设备，显然处理32位浮点数是处理16位浮点数计算量的2倍还多，在愿意损失一些精度的条件下使用 于是就有人提出了采用fp16来进行训练，具体而言在计算激活值和梯度的时候以fp16精度存储，执行优化算法的时候还原为fp32（缺失位补0），这样最终的效果是模型在GPU上以fp16和fp32两种方式加载 ，这被称为混合精度训练（mixed precision training），这种方式占用了更少的显存（全精度需要保存2份原始模型，混合精度保存1份原始模型，1份半精度模型，是原始模型的1.5倍），也加速了训练过程 ，即精度损失换时间。
2.3K40编辑于 2023-10-12 - 来自专栏Fish
双精度，单精度和半精度
常用的浮点数有双精度和单精度。除此之外，还有一种叫半精度的东东。 双精度64位，单精度32位，半精度自然是16位了。 半精度是英伟达在2002年搞出来的，双精度和单精度是为了计算，而半精度更多是为了降低数据传输和存储成本。 很多场景对于精度要求也没那么高，例如分布式深度学习里面，如果用半精度的话，比起单精度来可以节省一半传输成本。考虑到深度学习的模型可能会有几亿个参数，使用半精度传输还是非常有价值的。 比较下几种浮点数的layout: 双精度浮点数： ? 单精度浮点数： ? 半精度浮点数： ? 它们都分成3部分，符号位，指数和尾数。 不同精度只不过是指数位和尾数位的长度不一样。
7.2K50发布于 2019-05-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号