- 综合排序
- 最热优先
- 最新优先
- 来自专栏python前行者
whisper报错：UserWarning: FP16 is not supported on CPU； using FP32 instead
language en --model medium C:\xxPython310\lib\site-packages\whisper\transcribe.py:114: UserWarning: FP16 is not supported on CPU; using FP32 instead warnings.warn("FP16 is not supported on CPU; using FP32 instead") 这个报错说的是whisper要使用cpu，而你音频是fp16的，cpu不支持。 解决方法1 WHISPER使用的时候出现的问题，因为并不想动之前的pytorch环境，解决办法在参数中加入fp16=False即可 result = model.transcribe("segment1 .wav", fp16=False) #language 解决方法2 pip3 uninstall -y torch torchvision torchaudio # following command
1.2K10编辑于 2024-11-24 - 来自专栏深度学习那些事儿
想提速但TensorRT的FP16不得劲？怎么办？在线支招！
让我试试FP16的速度咋样吧，嗯，1000Q，差不多500q的两倍，还是有收益的。以上实验是在RTX2080TI上做的，20系列有FP16计算单元，所以模型转化为FP16是有速度收益的。 如果我们用的是1080TI，那么模型转化为FP16只有模型体积的缩小，模型运行速度并不会提升，反而会有下降。 测试一下FP16的结果 铺垫那么多…FP16的提速固然是可喜的，但是结果完全不对。 关于FP16 FP16之所以计算那么快，最重要的原因是因为FP16只占两个字节，相比FP32所占的内存更小，实现的指令也比FP32更快。 有专门FP16计算单元的显卡，相比FP32，FP16的flops往往都很高。 比如RTX2080TI。 这个模型同样被标记为FP16格式，导出后发现大小比一开始的FP16要大一些。
2.2K30编辑于 2023-10-19 - 来自专栏从流域到海域
大模型高效训练基础知识：fp16与混合精度训练
计算机表示浮点数有多种精度，其中Float16和Float32最为常见，即 fp32: Sign(1bit) + Range(8 bits) + Precision(23 bits) fp16: Sign + Range(5 bits) + Precision(10 bits) GPU是一种专精浮点数运算的硬件设备，显然处理32位浮点数是处理16位浮点数计算量的2倍还多，在愿意损失一些精度的条件下使用fp16 于是就有人提出了采用fp16来进行训练，具体而言在计算激活值和梯度的时候以fp16精度存储，执行优化算法的时候还原为fp32（缺失位补0），这样最终的效果是模型在GPU上以fp16和fp32两种方式加载 Transformer框架内开启fp16非常简单，仅需在TrainingArguments种设置fp16标志位为True： training_args = TrainingArguments(per_device_train_batch_size =4, fp16=True, **default_args) trainer = Trainer(model=model, args=training_args, train_dataset=ds)
2.2K40编辑于 2023-10-12 - 来自专栏机器之心
字节开源大模型量化新思路，2-bit量化模型精度齐平fp16
大量上线业务表明，基于 decoupleQ 的量化，W4A16 的推理精度已经完全能和 fp16/bf16 推理持平；W2A16 的精度只略差于 fp16/bf16 精度（对浮点部分 sft 以后，精度能和 fp16/bf16 持平）。 在硬件加速上相比 fp16、w8fp16、w4fp16 获得了不错的加速效果，在小 batch 下 w2 矩阵乘的性能相比 fp16 提升 5-6 倍，相比 w4 提升 1.5-1.7 倍。 在内部业务模型上，w2fp16 相比 fp16 性能有 3-5 倍的提升， 相比 w4fp16 性能有 1.25-1.4 倍的性能提升，同时也会使得模型 weight 占用显存大幅下降，为 runtime
1.4K10编辑于 2024-05-14 - 来自专栏优图实验室的专栏
TNN行业首发Arm 32位 FP16指令加速，理论性能翻倍
1.1 什么是FP16数据？FP16指令有什么好处？ FP16是半精度浮点格式，相比常用的FP32单精度浮点，数据宽度降低了一半。 经调研，行业开源推理框架如ncnn、MNN等仅支持Arm64位FP16指令加速，这样32位App无法享受FP16指令加速效果。 仅当算子已支持FP16加速，并且运行平台具备FP16加速硬件时，该层才会使用FP16精度计算。当用户设置的网络精度为PRECISION_HIGH时，可以强制禁用FP16加速。 对模型中已实现FP16加速的算子，TNN默认自动按照FP16加速，而对模型中未实现FP16加速的算子，TNN在静态图中自动插入Reformat层转为FP32加速。 如果支持，则会运行FP16算子，否则仍然运行FP32算子，避免执行Armv8.2-A FP16指令。
3.2K20发布于 2021-01-15 - 来自专栏贾志刚-OpenCV学堂
YOLOv5模型部署TensorRT之 FP32、FP16、INT8推理
一条命令行搞定了，直接执行： python detect.py --weights yolov5s.engine --view-img --source data/images/zidane.jpg FP16 就这样直接执行该命令行就可以导出生成了，图示如下： 对比可以发现相比FP32大小的engine文件，FP16的engine文件比FP32的engine大小减少一半左右，整个文件只有17MB大小左右。 推理执行的命令跟FP32的相同，直接运行，显示结果如下： 对比发现FP32跟FP16版本相比，速度提升了但是精度几乎不受影响！
7.1K50编辑于 2022-09-23 - 来自专栏叶子的开发者社区
【YOLOv5】【模型压缩与加速】【量化】FP32、FP16、INT8
FP16量化 python export.py --weights runs/train/exp4/weights/best.pt --include onnx engine --half --device 但是int8的推理速度和FP16的差不多。 Int8目标检测的效果也要差上一些，从图中可以看到有些鸡没有被检测到，可见改用int8存储后的模型精度要差上一些。
3.6K30编辑于 2023-11-13 - 来自专栏计算机视觉战队
使用4-bit整数训练Transformer，比FP16快2.2倍，提速35.1%
我们的原型线性算子实现速度是FP16的2.2倍，训练速度提高了35.1%。 02 背景介绍 训练神经网络在计算上要求很高。低精度算术训练（也称为全量化训练或FQT）有望提高计算和记忆效率。 所需的数值精度已从FP16降低到FP8、INT32+INT8和INT8+INT5。FP8训练是在英伟达的H100 GPU和变压器引擎中实现的，为大型变压器的训练实现了令人印象深刻的加速。 在我们的训练过程中，我们使用INT4算法加速所有线性算子，并将所有计算密集度较低的非线性算子保留为16位浮点（FP16）格式。变压器中的所有线性运算都可以写成矩阵乘法（MM）形式。
81320编辑于 2023-08-24 深入解析强化学习中的混合精度训练：FP16累加误差与Loss Scaling补偿机制
混合精度训练的基本原理 混合精度训练的核心思想是将计算过程分解为三个层次：前向传播使用FP16加速计算，反向传播使用FP16计算梯度，而权重更新则保留FP32精度。 这种硬件级优化使得FP16在矩阵乘加运算中展现出显著优势。 内存与带宽效率对比 在显存占用方面，FP16的优势尤为突出。 FP16累加误差的产生与影响 在混合精度训练中，FP16（半精度浮点数）的引入虽然显著提升了计算效率，但其有限的数值表示范围与精度特性却带来了独特的挑战。 当使用FP16计算时，每个乘法结果 wixiw_i x_i 会先被舍入到FP16精度，然后进行累加。 AI芯片可能全程使用FP16。
1.6K10编辑于 2025-08-27- 来自专栏计算机视觉战队
使用4-bit训练Transformer，比FP16快2.2倍，提速35.1%
我们的原型线性算子实现速度是FP16的2.2倍，训练速度提高了35.1%。 02 背景介绍 训练神经网络在计算上要求很高。低精度算术训练（也称为全量化训练或FQT）有望提高计算和记忆效率。 所需的数值精度已从FP16降低到FP8、INT32+INT8和INT8+INT5。FP8训练是在英伟达的H100 GPU和变压器引擎中实现的，为大型变压器的训练实现了令人印象深刻的加速。 在我们的训练过程中，我们使用INT4算法加速所有线性算子，并将所有计算密集度较低的非线性算子保留为16位浮点（FP16）格式。变压器中的所有线性运算都可以写成矩阵乘法（MM）形式。
1.5K30编辑于 2023-08-24 Timeline Studio 浏览器本地多语言声音克隆技术归档：OpenVoice V2 FP16 ONNX 实现
二、模型文件浏览器运行时使用两个 FP16 ONNX 模型：文件大小用途reference-encoder.onnx1,637,269 Bytes提取参考声音的音色特征converter.onnx64,314,222 九、FP16 与 FP8 技术决策记录当前生产模型固定使用 FP16。这里的 FP16 是浮点降精度部署，不等同于传统 INT8 整数量化。 ONNX 文件格式可以描述 Float8 类型，但模型进入浏览器后仍可能需要：FP8 Weight ↓Cast / Dequantize ↓FP16 或 FP32 Tensor ↓WebGPU 同时还会增加：Cast 或 Dequantize 节点WebGPU 算子覆盖要求WASM 回退概率CPU 与 GPU 之间的数据交换浏览器和显卡之间的兼容差异音频生成结果的精度验证成本因此，当前版本将 FP16
16010编辑于 2026-08-06我们把 Kokoro 1.1 量化到 FP16，并用它替换了浏览器里的中文 Piper 配音
在最新发布的TimelineStudiov1.0.0中，我们完成了一次重要的中文AI配音升级：中文配音从Piper/VITSONNX切换到Kokoromulti-langv1.1，并将模型转换为适合浏览器运行的FP16 为了让Kokoromulti-langv1.1能够进入纯浏览器工作流，我们将模型转换为FP16半精度版本，并打包为适配sherpa-onnxWASM的浏览器运行时。 完整流程如下：展开代码语言：TXTAI代码解释用户输入文案↓中文及中英文字符规范化↓选择Kokoro音色和SpeakerID↓WebWorker加载FP16模型↓sherpa-onnxWASM本地推理↓ 生成PCM音频↓编码为WAV↓进入TimelineStudio素材库和时间线```与FP32相比，FP16可以降低模型存储、传输和运行时内存带宽压力，同时尽量保留语音质量。 这次工作真正有价值的部分，不仅是选择了一个声音更自然的模型，而是完成了从FP16模型转换、浏览器打包、并行下载、完整性校验、双镜像、统一缓存、Worker推理，到编辑器时间线集成的一整套工程链路。
14310编辑于 2026-08-08腾讯云 T4 GPU 上 PyTorch 模型 TensorRT 推理加速实战：从 ONNX 导出到动态 Shape 与 FP16 调优
腾讯云 T4 GPU 上 PyTorch 模型 TensorRT 推理加速实战：从 ONNX 导出到动态 Shape 与 FP16 调优在工业级 AI 部署场景中，推理延迟和吞吐量直接决定服务成本与用户体验 TensorRT 作为 NVIDIA 官方推理优化库，通过层融合、精度校准（FP16/INT8）、内核自动调优等手段，可将常见 CNN/Transformer 模型推理速度提升 2~8 倍。 TensorRT 8.6 上验证通过：PyTorch 模型 → ONNX（含动态轴、opset 版本陷阱）ONNX 结构简化（onnx-simplifier）TensorRT 引擎构建（静态/动态 Shape，FP16 config = builder.create_builder_config() config.max_workspace_size = 1 << 30 # 1GB if fp16 config = builder.create_builder_config() config.max_workspace_size = 2 << 30 # 2GB if fp16
8010编辑于 2026-08-23- 来自专栏新智元
清华朱军团队新作：使用4位整数训练Transformer，比FP16快2.2倍，提速35.1%，加速AGI到来！
原型线性算子运算速度比FP16同类算子快2.2倍，训练速度提高了35.1%。 所需的数值精度已从FP16降低到FP8、INT32+INT8和INT8+INT5。 在我们的训练过程中，我们用INT4算术加速所有线性运算符，并将所有计算量较小的非线性运算符保留在16位浮 点(FP16)格式中。 研究不同量化器的前向传播的有效性，我们将后向传播留在FP16中。 结果如下图所示。 计算和内存效率 最后，研究人员通过评估他们的原型实现，展示了他们的方法加速神经网络训练的潜力。
97010编辑于 2023-08-07 - 来自专栏福大大架构师每日一题
DeepSpeed v0.16.8震撼发布，支持CPU加速FP16和最新Torch 2.7，性能与兼容性大幅提升！
本次更新不仅修复了多个核心问题，更引入了CPU端FP16数据类型加速支撑，并全面升级至Torch 2.7，极大增强了模型训练的性能和环境兼容性。 CPU加速支持FP16数据类型 最大亮点莫过于由@Yejing-Lai提交的CPU加速FP16数据类型支持功能。 三、深度技术细节详解 CPU加速FP16支持 FP16，也被称为半精度浮点数，是指使用16位存储浮点数，能够降低显存和带宽压力，提高数据吞吐率，但易受到数值范围限制和精度误差限制。 此版本中，DeepSpeed通过优化CPU端算子实现了对FP16类型的高效支持，采用了更优的SIMD指令集调用，避免了传统的FP16模拟执行带来的性能瓶颈。 通过对CPU端FP16的支持、PyTorch 2.7升级和多平台适配，本次更新在提升性能和增强生态兼容性的道路上迈出了坚实一步。
1.4K10编辑于 2025-05-21 《模型量化实战：从 FP16 到 INT4，如何在精度损失 ~1% 的情况下提速 300%？》
一、先把世界切开：FP16 / INT8 / INT4 到底在说啥？ LLM 推理里大家最常讨论一种叫 W4A16 的玩法：W4：权重（Weight）压到 4-bit 整数（INT4 / 等价表示）A16：激活（Activation）仍用 FP16/BF16 走矩阵乘undefined K_M有效 ~4.5-4.9bit同上量级本地/Mac/消费卡（llama.cpp）引用一下实测口径：对 Llama-3 这类模型，Q4_K_M 的 perplexity缺口大约在 +1~3% 相对 FP16 论文的消融很经典：OPT-6.7B 做 INT3 + group（很激进）：RTN（最朴素四舍五入）：PPL 飙得很难看 "把 1% 按激活选出的通道保留 FP16"：明显救回来 但"按权重大小选 你省下来的不是 1% 的"正确答案概率"，你省下来的是一张卡的命运：同样 A10/4090，FP16 可能卡在 batch=1，INT4 能给你 batch=8 的吞吐——那才是 300% 的来源。
21310编辑于 2026-07-24- 来自专栏腾讯云大模型训推平台TI-ONE
【技术分享】Detectron模型性能优化与部署（2）
FP16支持 目前较新的GPU一般FP16的峰值计算能力远大于FP32峰值计算能力。 一般来说，只要GPU的FP16峰值计算能力大于FP32，我们就可以使用FP16加速模型推理。但实际应用中，FP16性能如何，不仅取决于GPU的FP16峰值计算能力，也取决的输入数据的Shape。 可以看出，某些shape的FP16计算性能远好于FP32的计算性能，某些shape FP16性能反而不如FP32性能。无论FP32还是FP16，GPU的实际计算能力和峰值计算能力差距都很远。 因此，是否使用FP16进行计算，不仅取决于GPU的FP16峰值计算能力，也取决于模型结构，数据格式等。 因此，使用FP16进行推理，对模型的精度影响基本可以忽略。而且可以通过对某些关键层，比如最后一层，不使用FP16推理，进一步降低FP16对推理精度的影响。
2.4K20编辑于 2021-12-22 - 来自专栏小锋学长生活大爆炸
【知识】简单易懂GPU架构图解和Tensor Core
利用 Tensor Core 可以加速 FP16 下的矩阵乘法。在pytorch中可以通过开启“混合精度”来使用Tensor Core。 混合精度推理是通过混合使用单精度（FP32）和半精度（FP16）来加速神经网络推理过程。 在使用FP16计算时具有如下特点： FP16可降低一半的内存带宽和存储需求，这使得在相同的硬件条件下研究人员可使用更大更复杂的模型以及更大的batch size大小。 FP16可以充分利用英伟达Volta、Turing、Ampere架构GPU提供的Tensor Cores技术。在相同的GPU硬件上，Tensor Cores的FP16计算吞吐量是FP32的8倍。 矩阵乘使用建议如下： 根据Tensor Core使用建议，当矩阵维数 M、N、K 是8（A100架构GPU为16）的倍数时（FP16数据下），性能最优。
2.2K10编辑于 2025-05-24 - 来自专栏算法码上来
用了这个技术，我让模型训练和推理快了好几倍
而LightSeq的fp16和int8时间差不多，int8能快个2.3倍左右。 可能这时候有人要问了，你这int8训练比fp16还慢，我干嘛用int8呢？ 而LightSeq int8推理比fp16还能快1.35倍左右，比起Hugging Face的fp16更是不知道快到哪里去了，5.9倍妥妥的！ 那好，有本事直接用fp16，别用int8好了。 用fp16精度pretrain模型 训练数据train.txt里面，一行一段话，大概500字左右。 python3 export.py \ -m model/fp16/pytorch_model.bin \ -l 500 用fp16模型生成句子 这里-p用来指定词表所在的路径。 用fp16精度pretrain模型 第一步跟刚刚fp16训练一样，先预训练一个fp16的模型，这样能避免int8效果损失。
1.1K40编辑于 2022-11-14 - 来自专栏AI前沿技术
模型训练显存占用分析，谁是内存杀手？
前向传播 • 输入数据与 FP16 权重进行计算，得到的所有激活值（Activations）均以 FP16 格式存储，大幅降低存储需求。 • 保存 FP16 格式的激活值，供后续反向传播时复用，进一步减少存储开销。 反向传播 • 基于 FP16 格式的激活值和损失函数，计算FP16 格式的权重梯度（Gradients）。 反向传播的核心计算仍用 FP16 完成，降低计算过程中的带宽占用。 权重更新 • 梯度与学习率相乘。 由于 FP16 可能无法表示极小的 “梯度 × 学习率” 值（或因数值对齐导致更新失效），需将 FP16 梯度转换为 FP32 格式，与 FP32 学习率进行乘法运算。 • 参数更新 学习率为 参数更新时，需要完成参数和梯度从FP16到FP32的精度转换后再进行参数更新，更新后FP32参数和梯度转换到FP16保存，并进行下一轮的迭代。
60910编辑于 2026-01-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号