qizhou

摘要： 现在的神经网络通常都特别深，在输出层向输入层传播导数的过程中，梯度很容易被激活函数或是权重以指数级的规模缩小或放大，从而产生“梯度消失”或“梯度爆炸”的现象，造成训练速度下降和效果不理想。 如何避免或者减轻这一现象的发生呢？归一化就是方法的一种。归一化将网络中层与层之间传递的数据限制在一定范围内，从 阅读全文