2019年11月19日
2019/11/20 Batch Normalization论文学习
摘要： 学习到的点 1. 梯度消失原来和饱和线性激活函数有一定关系。设$sigmoid(W X+b)$为一个神经元的函数关系。当更新梯度时，$W=W lr \frac {\partial sigmoid} {\partial W} = W lr (W^{'} X)$，当X很大时候，$W^{'}|_{X很大} 阅读全文
posted @ 2019-11-19 20:27 小恶魔oo 阅读(326) 评论(0) 推荐(0)