摘要：归一化层 1. 内部协变量偏移(Internal Covariate Shift) 深层神经网络中，由于前输出为后节点输入，使用梯度下降更新参数进而改变 前一层输出，会导致后续的 输入分布 在每层之间发生较大的变化。 这种现象称为 内部协变量偏移(Internal Covariate Shift)。 阅读全文

摘要：1. 来自哪 学习参数，使用梯度下降： $W_{n+1} = W_{n-1} - \eta\frac{\partial L}{\partial W_{n-1}}$ 2. 原因 梯度消失与梯度爆炸其实是一种情况， 由于多层的参数连乘和激活函数的偏导连乘，则两种情况下容易出现梯度问题： 深层网络； 采用 阅读全文