摘要：深度学习神经网络模型中的量化是指浮点数用定点数来表示，也就是在DSP技术中常说的Q格式。我在以前的文章（Android手机上Audio DSP频率低 memory小的应对措施 ）中简单讲过Q格式，网上也有很多讲Q格式的，这里就不细讲了。神经网络模型在训练时都是浮点运算的，得到的模型参数也是浮点的。通 阅读全文

摘要：以前的神经网络几乎都是部署在云端（服务器上），设备端采集到数据通过网络发送给服务器做inference（推理），结果再通过网络返回给设备端。如今越来越多的神经网络部署在嵌入式设备端上，即inference在设备端上做。嵌入式设备的特点是算力不强、memory小。可以通过对神经网络做量化来降load和 阅读全文