2021年10月10日
知识蒸馏：Distillation
摘要： 1， 背景：复杂模型不好直接部署，简单模式更容易直接部署在服务器中 目的：模型压缩 解决办法： 1，使用Distillation：将老师（复杂模型）学到的“知识”灌输给学生（简单模型），所谓的知识其实是泛化能力。 2，衡量模型的复杂程度：模型中参数的数量。 模型容量的概念：模型的容量是指它拟合各种函 阅读全文
posted @ 2021-10-10 19:24 dream_fu 阅读(185) 评论(0) 推荐(0) 编辑
浮点神经网络vs二值神经网络
摘要： 1，浮点神经网络： 权重值和激活值都是32位浮点数 2，二值神经网络 权重值和激活值都是2个值 阅读全文
posted @ 2021-10-10 12:31 dream_fu 阅读(48) 评论(0) 推荐(0) 编辑