摘要:
继续整理tensorrt的学习资料,方便后续查看. (文章内容大部分摘取于网络资源) ## 1 int8量化 int8量化就是将网络的权重由float32类型缩放为int8类型,同时记录缩放的scale。为了尽可能的不丢失精度,需要采用标定图片来确定缩放的范围。 ### 1.1 int8量化原理 * 阅读全文
posted @ 2023-09-02 16:38
silence_cho
阅读(452)
评论(0)
推荐(0)
摘要:
继续整理tensorrt的学习资料,方便后续查看. (文章内容大部分摘取于网络资源) ## 1. tensorrt插件 对于tensorrt不支持的算子,可以通过plugin插件的方式,自己实现。这里采用在pytorch中自定义一个算子,导出到onnx中,然后实现一个tensorrt plugin来 阅读全文
posted @ 2023-09-02 16:32
silence_cho
阅读(859)
评论(0)
推荐(1)
摘要:
整理下tensorrt学习资料,方便后续查找。(文章内容大部分摘取于网络资源) # 1. tensorrt介绍 安装: https://docs.nvidia.com/deeplearning/sdk/tensorrt-install-guide/index.html tensorrt python 阅读全文
posted @ 2023-09-02 16:26
silence_cho
阅读(2081)
评论(0)
推荐(0)