搜索 - 腾讯云开发者社区-腾讯云

文章/答案/技术大牛

发布

来自专栏深度学习那些事儿
一起实践量化番外篇——TensorRT-8的量化细节
一起实践量化番外篇——TensorRT-8的量化细节好久不见各位~ 这篇文章很久之前写完一直没有整理，最近终于是整理差不多了，赶紧发出来。本文接着《必看部署系列-神经网络量化教程：第一讲！》（当然也不排除之后一些优化框架也会有训练功能，因此同样可以在优化框架中做） TensorRT-8可以显式地load包含有QAT量化信息的ONNX模型，实现一系列优化后，可以生成INT8的engine。
4.4K51编辑于 2023-10-19
来自专栏深度学习那些事儿
TensorRT详细入门指北，如果你还不了解TensorRT，过来看看吧！
本教程基于目前(2021-4-26)最新版TensorRT-7.2.3.4，TensorRT更新频繁，TensorRT-8可能不久也会发布，不过TensorRT对于向下兼容的API做的还是比较好的，不必担心太多的迁移问题 ONNX2TensorRT，即ONNX转换trt的工具手动构造模型结构，然后手动将权重信息挪过去，非常灵活但是时间成本略高，有大佬已经尝试过了：tensorrtx 不过目前TensorRT对ONNX的支持最好，TensorRT
12.8K42编辑于 2023-10-19
来自专栏深度学习那些事儿
TORCH.FX第二篇——PTQ量化实操
除非模型简单都可以直接量化，否则需要在torch.nn.Module中添加很多torch.quantization.QuantStub()的标记精细化整个模型的量化策略，这个其实和之前在量化番外篇——TensorRT 关于TensorRT的量化细节也可以参考这篇文章量化番外篇——TensorRT-8的量化细节。
2.8K31编辑于 2023-10-19
来自专栏深度学习那些事儿
终于把TensorRT的engine模型的结构图画出来了！
这个模型是由TensorRT官方提供的pytorch-quantization工具对Pytorch模型进行量化后导出ONNX，然后再由TensorRT-8转化得到的engine，这个engine的精度是
1.1K30编辑于 2023-10-19
来自专栏深度学习那些事儿
老潘的思考
AI部署在工作还有在学校的一段时间，我都做了一些部署的工作，也写了几篇关于部署的文章（当然还有有很多坑没填）：量化番外篇——TensorRT-8的量化细节必看部署系列~懂你的神经网络量化教程：第一讲
74930编辑于 2023-10-19

一起实践量化番外篇——TensorRT-8的量化细节

TensorRT详细入门指北，如果你还不了解TensorRT，过来看看吧！

TORCH.FX第二篇——PTQ量化实操

终于把TensorRT的engine模型的结构图画出来了！

老潘的思考

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐