Dsp Tian

摘要： onnx中的动态量化和静态量化概念与pytorch中的核心思想一致，但实现工具、流程和具体api有所不同。 onnx量化通常依赖onnxrunntime来执行量化模型，并使用onnx工具库进行模型转换。 除了pytorch量化和onnx量化，实际工作中一般像英伟达、地平线、昇腾等不同的芯片都会有各自 阅读全文

摘要： pytorch中的动态量化和静态量化是两种主要的模型量化技术，旨在通过使用低精度数据类型（如 int8）代替高精度数据类型（如 float32）来减小模型大小并加速推理。 动态量化：在模型运行时（推理时）动态计算激活（activations）的量化参数（scale 和 zero_point）。权重（ 阅读全文