摘要：如图所示，对于一层神经网络来说，当神经元$X_2$的range远远大于$X_1$时，加权后得到的输出$a$会极大的收到神经元$W_2*X_2$的影响，即$W_2$的大小会极大的影响loss的大小，如下图左图所示。由此，为了使得loss变小，收敛，我们需要在不同方向（权重）上应用不同学习率大小，更新参 阅读全文