2021年12月12日
知识蒸馏综述:网络结构搜索应用
摘要： 【GiantPandaCV导语】知识蒸馏将教师网络中的知识迁移到学生网络，而NAS中天然的存在大量的网络，使用KD有助于提升超网整体性能。两者结合出现了许多工作，本文收集了部分代表性工作，并进行总结。 1. 引言 知识蒸馏可以看做教师网络通过提供soft label的方式将知识传递到学生网络中，可以 阅读全文
posted @ 2021-12-12 19:34 pprp 阅读(413) 评论(0) 推荐(0) 编辑