2019年11月1日
cv-BatchNorm学习笔记
摘要： 1 存在的问题 在两层深度网路中，作为第二层的输入的第一层输出会被参数影响从而无法保持稳定的分布，影响学习效果，导致不能设定较大的学习率以及需要精巧的初始化手段 我们把这个问题叫做内部协变量偏移 2针对内部协变量偏移 传统手段：白化，但是会带来梯度爆炸的问题，因为偏移b无法影响白化后的输入值，即b可 阅读全文
posted @ 2019-11-01 16:57 Fake_coder 阅读(188) 评论(0) 推荐(0)