2021年3月7日
Batch Normalization 笔记
摘要： 神经网络在更新参数的时候是假定其他参数不变 ，但是事实上参数是一起更新的。 比如上图，直线从$H1$更新到$H2$但是下一次输入分布变了（前面层的参数更新了）。所以相对位置就可能变为$H3$ Internal Covariate Shift， 多层之间缺乏默契，不能相互配合，互相追逐。 BN可以分为 阅读全文
posted @ 2021-03-07 13:14 木子士心王大可 阅读(145) 评论(0) 推荐(0)