AI-机器学习(12)-神经网络-反向传播

 

      反向传播神经网络如雷贯耳。哪哪都是这个词。为什么要反向？

     首先神经网络是为了最优化参数，wb. 梯度下降最优解。如何做？求导。当把所有式子列出来后，会发现式链式求导，有大量重复。从数学计算的简便性来说，反过来可以避免重复,简化计算，这就是为嘛反向。

1.公式

2.公式->代码 （主要是求导函数的运用）

3.技巧（矩阵求导，可以转置让其维度匹配）

  

1. 公式

         W1 b1

 

      W2 b2

1.  

         W3 b3

1. 公式->代码

1. 反向传播求梯度，主要就是求导得gradients[ + ]的应用

完成的代码如下

2.更新系数

1. 训练

主程序，或者叫入口程序。

两个函数：

显示

3.技巧

  矩阵如何求导？标量对矩阵求导，维度不变。

  公式：