会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
wyboooo
博客园
首页
新随笔
联系
订阅
管理
2020年8月
How Does Batch Normalization Help Optimization?【阅读笔记】
摘要: NIPS2018的一篇文章,探究Batch Normalization起作用的背后原因。作者的结论是BN对缓解ICS问题作用非常微弱,BN的作用在于使得优化过程的landscape更光滑,其他的一些归一化方法也可以达到这样的效果。 Batch Normalization通过增加额外的层,控制层输入的
阅读全文
posted @ 2020-08-21 18:25 wyboooo
阅读(591)
评论(0)
推荐(0)
编辑
公告