- 综合排序
- 最热优先
- 最新优先
- 来自专栏CSDN博客
微调Whisper模型和加速推理
另外项目最后还对语音识别加速推理，使用了CTranslate2加速推理，提示一下，加速推理支持直接使用Whisper原模型转换，并不一定需要微调。 python infer.py --audio_path=dataset/test.wav --model_path=models/whisper-large-v2-finetune 加速预测 众所周知 ，直接使用Whisper模型推理是比较慢的，所以这里提供了一个加速的方式，主要是使用了CTranslate2进行加速，首先要转换模型，把合并后的模型转换为CTranslate2模型。 --output_dir models/whisper-large-v2-ct2 --copy_files tokenizer.json --quantization float16 执行以下程序进行加速语音识别
3K30编辑于 2023-04-30 - 来自专栏云上修行
vLLM: 加速AI推理的利器
* "npcache"将以pytorch格式加载权重并存储numpy缓存以加速加载。* "dummy"将以随机值初始化权重，主要用于性能分析。 在ROCm（AMD GPU）上，相反，支持FP8_E4M3以满足常见的推理标准。 通过减少KV缓存的使用，系统能够处理更大的负载并更快地进行推理。
3.6K10编辑于 2024-07-22 - 来自专栏往期博文
【目标检测】YOLOv5推理加速实验：TensorRT加速
前言 前两篇博文分别讨论了YOLOv5检测算法的两种加速思路：采用多进程或批量检测，不过效果均收效甚微。本问将讨论使用TensorRT加速以及半精度推理/模型量化等优化策略对检测加速的实际影响。 最新版(v7.0+) 检测策略：将整张图片直接设置img_size为(1280x1280)进行检测(忽略精度，只注重速度) 环境搭建 关于TensorRT的安装在之前博文【目标检测】使用TensorRT加速 (inference)时间确实如某些资料所述，加速了五倍以上，但预处理时间却慢了不少。 在转TensorRT模型过程中，有一些其它参数可供选择，比如，可以使用半精度推理和模型量化策略。 半精度推理即FP32->FP16，模型量化策略(int8)较复杂，具体原理可参考部署系列——神经网络INT8量化教程第一讲！
2.4K40编辑于 2023-04-12 - 来自专栏AI技术探索和应用
使用vLLM加速大语言模型推理
介绍 vLLM 是一个快速且易于使用的库，用于 LLM 推理和服务，和 HuggingFace 无缝集成。 区别于 chatglm.cpp 和 llama.cpp，仅是在 GPU 上的模型推理加速，没有 CPU 上的加速。 在吞吐量方面，vLLM 的性能比 HuggingFace Transformers （HF） 高出 24 倍，文本生成推理 （TGI） 高出 3.5 倍。 可以使用 ray 框架实现分布式推理：https://vllm.readthedocs.io/en/latest/serving/distributed_serving.html Github: https
24.2K21编辑于 2024-03-13 - 来自专栏机器学习AI算法工程
onnx实现对pytorch模型推理加速
ONNX Runtime是适用于Linux，Windows和Mac上ONNX格式的机器学习模型的高性能推理引擎。 ? 3.torch.nn.Module.load_state_dict:使用反序列化状态字典加载 model's参数字典 保存加载模型2种方式，在保存模型进行推理时，只需要保存训练过的模型的学习参数即可，一个常见的 如果不这样做， 将会产生不一致的推断结果 #在保存用于推理或恢复训练的通用检查点时，必须保存模型的state_dict Pytorch模型转onnx 举例模型是调用resnet50训练的4分类模型,训练过程调用 使用onnx推理预测 ?
4.8K30发布于 2021-01-27 - 来自专栏AIGC 先锋科技
推理加速策略对 LLMs 偏差的影响 !
这些加速策略通过降低推理成本和延迟，通常降低几个数量级，同时保持通过常见基准测量的预测性能。 在这项工作中，作者探讨了LLM性能的另一个关键方面：由于推理加速优化而产生的模型生成人口统计偏见。 作者的结果强调了在修改模型以加速推理后进行深入且案例化的模型偏见评估的必要性。 本论文探讨了在实施推理加速策略后，模型输出中的人口统计偏见如何变化。具体而言，作者旨在回答以下研究问题： RQ1: 某些偏见类型是否由于推理加速而更容易显现？ RQ2: 某些推理加速策略是否更容易导致偏见？ RQ3: 策略的偏见影响是否在各种模型中保持一致？作者的评估包括五种常用的推理加速技术以及三种广泛使用的LLM。 推理加速策略。 作者考虑不需要重新训练的推理时间加速技术。这种选择使作者能够在真实场景中评估用户下载预训练模型并将其应用于任务，而不需要进一步的数据或计算密集型修改。
37810编辑于 2024-11-25 - 来自专栏PaddlePaddle
如何基于OpenVINO加速飞桨模型推理？
基于OpenVINO，可提升应用程序在CPU计算设备上的推理速度。 官方文档请访问：https://docs.openvino.ai/cn/latest/index.html 概述 本文以钢卷捆带检测项目为例，分享如何基于OpenVINO实现飞桨模型的CPU推理加速，主要包括 ： Windows及Linux平台下的OpenVINO源码编译； 如何产出飞桨模型直接用于在OpenVINO部署； 如何使用OpenVINO工具完成部署模型优化； CPU环境下的推理加速测试实验。 推理加速测试 转换后的模型可以通过OpenVINO提供的C++或Python接口实现推理功能，这里提供了一个简单的示例。 至此，基于OpenVINO实现飞桨模型的CPU推理加速就全部介绍完了。大家可结合自己具体的业务需求，按照上述步骤完成模型转换，并将模型部署至英特尔CPU计算设备上。
1.5K20发布于 2021-11-17 - 来自专栏CSDN博客
微调Whisper语音识别模型和加速推理
另外项目最后还对语音识别加速推理，使用了CTranslate2加速推理，提示一下，加速推理支持直接使用Whisper原模型转换，并不一定需要微调。 infer_tfs.py：使用transformers直接调用微调后的模型或者Whisper原模型预测，只适合推理短音频。 0.21009 0.29352 0.41506 点击下载点击下载whisper-large-v2ChineseWenetSpeech 0.05545 0.10280 0.20719 未加速和加速后的推理速度测试表 Whisper模型推理是比较慢的，所以这里提供了一个加速的方式，主要是使用了CTranslate2进行加速，首先要转换模型，把合并后的模型转换为CTranslate2模型。 --num_workers指定是使用多少个线程并发推理，这在Web部署上很重要，当有多个并发访问是可以同时推理。其他更多的参数请查看这个程序。
5.3K20编辑于 2023-06-04 - 来自专栏数据分析
PostgreSQL物化视图：加速模型推理数据准备
物化视图上创建索引-- 唯一索引（支持CONCURRENTLY刷新）CREATE UNIQUE INDEX ON user_recommend_features (user_id);-- 普通索引加速查询 特征版本对比表：版本特征数计算逻辑物化耗时查询耗时适用模型v1153基础统计45秒8ms老模型v2187增加滞后特征68秒12ms新模型v3(开发)201滞后+embedding120秒18ms实验模型5.2 推理服务集成场景 ：API服务直接查询物化视图# Flask/FastAPI推理服务from flask import Flask, jsonifyimport psycopg2app = Flask(__name__) @app.route('/predict/<int:user_id>')def predict(user_id): """ 推理API：从物化视图获取特征，调用模型 """ # : 0.85, 'latency_ms': 45 # 特征准备仅45ms（原4.2秒） })# 性能对比# 原方案：查询基表 4.2秒# 新方案：查询物化视图 45ms + 模型推理
59710编辑于 2025-12-14 - 来自专栏深度学习自然语言处理
使用Batch Normalization折叠来加速模型推理
作者：Nathan Hubens 编译：ronghuaiyang 来自：AI公园 导读 如何去掉batch normalization层来加速神经网络。 但它在推理的时候有多少用处呢？ 一旦训练结束，每个Batch normalization层都拥有一组特定的γ和β，还有μ和σ，后者在训练过程中使用指数加权平均值进行计算。 这将删除一些不必要的参数，但也会减少推理时要执行的操作数量。 在实践中怎么做？ 用一点数学知识，我们可以很容易地重新对卷积进行排列来处理batch normalization。 单个图像的初始推理时间为： ? 如果使用了batch normalization折叠，我们有： ? 以及： ? 8448个参数被去掉了，更好的是，几乎快了0.4毫秒！ 推理时间为： ? 使用batch normalization折叠后，有： ? 和： ? 现在，我们有26,560的参数被移除，更惊讶的hi，推理时间减少了1.5ms，性能一点也没降。 ?
1.3K20发布于 2020-11-19 - 来自专栏机器学习与生成对抗网络
【骚操作】折叠Batch Normalization加速模型推理
但它在推理的时候有多少用处呢？ 一旦训练结束，每个Batch normalization层都拥有一组特定的γ和β，还有μ和σ，后者在训练过程中使用指数加权平均值进行计算。 这将删除一些不必要的参数，但也会减少推理时要执行的操作数量。 在实践中怎么做？ 用一点数学知识，我们可以很容易地重新对卷积进行排列来处理batch normalization。 两个网络都将训练5个epoch，看看参数数量和推理时间的变化。 1. VGG16 我们从训练VGG16 5个epoch开始(最终的准确性并不重要)： ? 参数的数量： ? 单个图像的初始推理时间为： ? 如果使用了batch normalization折叠，我们有： ? 以及： ? 8448个参数被去掉了，更好的是，几乎快了0.4毫秒！ 推理时间为： ? 使用batch normalization折叠后，有： ? 和： ? 现在，我们有26,560的参数被移除，更惊讶的hi，推理时间减少了1.5ms，性能一点也没降。 ?
45320发布于 2021-01-08 - 来自专栏贾志刚-OpenCV学堂
使用Batch Normalization折叠来加速模型推理
但它在推理的时候有多少用处呢？ 一旦训练结束，每个Batch normalization层都拥有一组特定的γ和β，还有μ和σ，后者在训练过程中使用指数加权平均值进行计算。 这将删除一些不必要的参数，但也会减少推理时要执行的操作数量。 在实践中怎么做？ 用一点数学知识，我们可以很容易地重新对卷积进行排列来处理batch normalization。 两个网络都将训练5个epoch，看看参数数量和推理时间的变化。 1. VGG16 我们从训练VGG16 5个epoch开始(最终的准确性并不重要)： ? 参数的数量： ? 单个图像的初始推理时间为： ? 如果使用了batch normalization折叠，我们有： ? 以及： ? 8448个参数被去掉了，更好的是，几乎快了0.4毫秒！ 推理时间为： ? 使用batch normalization折叠后，有： ? 和： ? 现在，我们有26,560的参数被移除，更惊讶的hi，推理时间减少了1.5ms，性能一点也没降。 ?
1.2K10发布于 2020-11-13 PyTorch编译缓存加速模型推理技术解析
Torch编译缓存助力推理加速某机构现已缓存torch.compile编译产物，以缩短使用PyTorch框架模型的启动时间。 torch.compile技术解析许多模型（特别是FLUX系列）应用了多种torch.compile技术和技巧来提升推理速度。首次调用编译函数时会进行代码追踪和编译，这会带来额外开销。 技术提示：在某机构对black-forest-labs/flux-kontext-dev的推理速度测试中，编译版本比未编译版本运行速度快30%以上。
24110编辑于 2025-10-29YOLO-Maste开源：首个MoE加速加速实时检测，推理提速17.8%！
分阶段路由策略：训练时用软Top-K保证梯度流，推理时用硬Top-K实现真正的计算稀疏，兼顾稳定与高效。负载均衡监督：独创损失函数，防止专家“躺平”，确保所有专家均衡参与。 推理速度：延迟仅 1.62ms，比 YOLOv13-N 快 17.8%。密集场景优势：在目标高度重叠的SKU-110K数据集上，mAP达到 58.2%，验证了其在复杂环境下的卓越能力。 我们在训练时采用软 Top-K 路由以保持梯度流，在推理时切换到硬 Top-K 路由以实现真正的计算稀疏性。在五个大规模基准上进行综合实验表明，YOLO-Master 以卓越的效率实现了最先进的性能。
70510编辑于 2026-01-13- 来自专栏腾讯开源的专栏
GPU 高性能推理加速框架Forward开源啦
项目简介 Forward 是一款腾讯平台和内容事业群（PCG）研发的 GPU 高性能推理加速框架。 行业应用 以近期的百万级 BERT 语言模型推理加速项目为例，原本需要成百上千的 CPU 资源来承载的线上推理服务，使用 Forward 推理加速技术后，能够实现原始已训练模型的无缝接入，并保持与之前线上相当的性能的情况下 接口简单易用：直接导入已训练好的 Tensorflow(.pb) / PyTorch(.pth) / Keras(.h5) 导出的模型文件，隐式转换为高性能的推理 Engine 进行推理加速。 开源愿景 补全市场，助力领域发展 深度学习模型推理加速，是广大算法开发及落地人员所热切关注的领域。如果模型推理能得到提速，则意味着线上服务的降本提效。 然而业界现有推理加速方案的开发成本高，支持范围小，易用性低，使得业务团队难以将模型推理加速提上日程。
1.7K20发布于 2021-03-17 - 来自专栏存储公众号：王知鱼
WD：Flash加速AI推理在端侧落地
使用闪存加速边缘设备上大型语言模型（LLM）采用。 2. 在客户端设备上运行LLM时，需要解决内存墙问题。 3. 通过将部分LLM加载到GPU VRAM中，可以减少对系统内存的需求。 4. • Speed Up（加速）： • Row Column Bundling（行列绑定）：将上下投影神经元进行聚类。这有助于减少从SSD读取的次数。 加速推理过程： 跳过冗余计算和减少不必要的参数加载直接提高了推理速度。 模型中活跃的神经元只占一部分，稀疏性使得我们能够专注于少数真正需要参与运算的部分，大大减少了总的计算负荷，从而加速模型的推理。 4. • 硬件厂商 专用加速器： 开发专门针对稀疏矩阵运算优化的硬件加速器。这些加速器可以设计有特殊的电路来跳过零值计算，从而节省处理时间和能耗。
64410编辑于 2025-02-11 使用DeepSpeed进行大模型推理加速的指南
DeepSpeed是一个开源工具库，旨在通过系统优化和压缩技术加速大规模模型的推理和训练过程。 梯度压缩：减少通信开销，加速训练过程。权重剪枝：去除不必要的参数，减小模型大小并提高推理速度。推理自适应并行性：根据推理延迟和成本优化多GPU推理策略。 量化感知训练：支持量化后的模型推理，如INT8推理，节省内存并减少延迟。 ==4.21.1 --upgrade -qpip install datasets evaluate[evaluator]==0.2.2 seqeval --upgrade -q使用DeepSpeed加速 BERT推理1.
3.4K21编辑于 2025-01-03CacheDiT、TaylorSeer 与 SCM：DiT 扩散模型推理加速到底在加速什么？
CacheDiT 为什么能加速？ 3. DBCache：按 Transformer Block 做缓存 4. TaylorSeer：不是直接复用，而是预测未来特征 5. 因此，DiT 加速的关键问题变成了： ❝每一个去噪 step 都必须完整跑一遍 Transformer 吗？ CacheDiT 的答案是：不一定。 CacheDiT 为什么能加速？ DiT 推理有一个很重要的经验事实： ❝相邻 denoising step 的中间特征通常很相似。 总结 CacheDiT 的核心不是“魔法加速”，而是利用扩散模型推理过程中的一个结构性冗余： ❝相邻 denoising steps 的中间特征高度相似。 TeaCache 则更强调基于 timestep embedding 相似度的自适应缓存，适合生产部署中快速打开一档加速。
10210编辑于 2026-05-26- 来自专栏FPGA技术江湖
FPGA 2025最佳论文--加速视频推理大模型
这篇论文获得了FPGA 2025最佳论文奖，是用FPGA对视频生成大模型进行加速优化，最终得到的效果非常不错。这也符合我们的预期，FPGA目前还是可以做各种工程的加速研究。 在AI领域，我们之前也写过很多篇FPGA论文的解读，也基本都是加速AI算法，这篇论文是我们写的第一篇直接对视频生成大模型的推理进行了加速。 为应对这些挑战，论文提出 FlightVGM，这是首个结合激活稀疏化和混合精度的高效 VGM 推理 FPGA 加速器。它依据 VGM 在不同维度和层的压缩偏好进行设计。 ，平均性能也提高了 2.84 倍，为 VGM 的高效推理提供了创新且有效的解决方案 。 FPGA 虽适合加速稀疏深度学习模型，可现有 FPGA 加速器处理 VGM 时吞吐量较低。
1.1K10编辑于 2025-04-02 - 来自专栏AI算法修炼营
私藏的深度学习模型推理加速项目
深度学习一般分为训练和部署两大部分。训练部分首先也是最重要的是构建网络结构，准备数据集，使用各种框架进行训练，训练要包含validation和test的过程，最后对于训练好的模型要在实际业务中进行使用。训练的操作一般在线下，实时数据来之后在线训练的情况比较少，大多数情况下数据是离线的，已经收集好的，数据更新不频繁的一天或一周一收集，数据更新频繁的可能几十分钟，在线下有大规模的集群开始对数据或模型进行更新，这样的训练需要消耗大量的GPU，相对而言一般会给一个比较大的batchsize，因为它的实时性要求相对较低，一般训练模型给的是128，甚至有些极端的1024，大的batch的好处是可以充分的利用GPU设备。
1.7K40发布于 2020-05-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号