2020年8月
How Does Batch Normalization Help Optimization?【阅读笔记】
摘要： NIPS2018的一篇文章，探究Batch Normalization起作用的背后原因。作者的结论是BN对缓解ICS问题作用非常微弱，BN的作用在于使得优化过程的landscape更光滑，其他的一些归一化方法也可以达到这样的效果。 Batch Normalization通过增加额外的层，控制层输入的 阅读全文
posted @ 2020-08-21 18:25 wyboooo 阅读(591) 评论(0) 推荐(0) 编辑