摘要: 1.知识蒸馏介绍 2. 知识蒸馏思想 3.知识蒸馏方法 4.在大数据集上训练专家集成模型 作业 1:推导:推导证明利用logits优化是知识蒸馏的特殊形式 2:文字回答:在知识蒸馏中,温度T的作用是什么? 为了从教师网络中蒸馏出更多,更丰富的信息,引入温度参数T的概念,T越大,网络输出类别概率分布越 阅读全文
posted @ 2020-07-30 10:36 sariel_sakura 阅读(233) 评论(0) 推荐(0) 编辑
摘要: 1.Inception网络发展 2.Xception网络结构 作业 1:文字回答:Xception中继承了哪些来自Inception系列的思想?又有哪些改进? 继承:使用1x1的卷积 使用两个3x3卷积来代替一个5x5卷积 加了BN层 。 改进:去掉池化层,得到简化版本的Inception modu 阅读全文
posted @ 2020-07-30 09:47 sariel_sakura 阅读(1115) 评论(0) 推荐(0) 编辑