摘要: NIPS2018的一篇文章,探究Batch Normalization起作用的背后原因。作者的结论是BN对缓解ICS问题作用非常微弱,BN的作用在于使得优化过程的landscape更光滑,其他的一些归一化方法也可以达到这样的效果。 Batch Normalization通过增加额外的层,控制层输入的 阅读全文
posted @ 2020-08-21 18:25 wyboooo 阅读(591) 评论(0) 推荐(0) 编辑