2024年9月2日
张量感知量化杂谈
摘要： 感知量化训练 QAT 传统的训练后量化将模型从 FP32 量化到 INT8 精度时会产生较大的数值精度损失。感知量化训练（Aware Quantization Training）通过在训练期间模拟量化操作，可以最大限度地减少量化带来的精度损失。 QAT 的流程，如图7-9所示，首先基于预训练好的模型 阅读全文
posted @ 2024-09-02 06:15 吴建明wujianming 阅读(166) 评论(0) 推荐(0)
张量量化方法杂谈
摘要： 量化方法对比 QAT 可以达到的精度较高，但是往往需要较多的量化训练时间，量化成本比较大。PTQ 的量化过程比较迅速，只需要少量数据集来校准，但是量化后精度往往损失较多，见表7-1。 表7-1 量化方法参数对比 量化方法 功能 经典适用场景 使用条件 易用性 精度损失 预期收益 量化训练 (QAT) 阅读全文
posted @ 2024-09-02 06:11 吴建明wujianming 阅读(172) 评论(0) 推荐(0)
深度学习模型优化杂谈
摘要： 深度学习模型优化概述 模型压缩跟轻量化网络模型不同，压缩主要是对轻量化或者非轻量化模型执行剪枝、蒸馏、量化等压缩算法和手段，使得模型更加小、更加轻便、更加利于执行。 基本介绍 随着神经网络模型的复杂性和规模不断增加，模型对存储空间和计算资源的需求越来越多，使得部署和运行成本显著上升。模型压缩的目标是 阅读全文
posted @ 2024-09-02 06:05 吴建明wujianming 阅读(194) 评论(0) 推荐(0)