神经网络反向传播公式推导

本文摘自Michael Nielsen的Neural Network and Deep Learning, chapter 1 & 2.

随机梯度下降

 

 

带权输入

 

反向传播的四个基本方程

 

 

BP1方程的证明：

 

BP2方程的证明：

BP2的证明有些绕，我们可以用更直观的方式来说明这个公式，假设第L-1层和第L层的都只有3个神经元：

反向传播算法：