摘要：
Batch Normalization 论文地址：https://arxiv.org/pdf/1502.03167.pdf 概念解释 Batch Normalization 就是批归一化，就是对数据做标准化处理。 上图表示的意思是： 求每一个批次特征变量的均值和方差，再对之进行标准化。 Intern 阅读全文
摘要：
Knowledge Distillation 论文地址：https://arxiv.org/pdf/1503.02531.pdf 知识蒸馏指的是一种模型的压缩方法。 知识蒸馏的方式就是将Teacher Network输出的soft label作为标签来训练Student Network。 比如在上图 阅读全文