梯度下降、反向传播原理，计算图

梯度下降原理及其过程：https://blog.csdn.net/qq_41800366/article/details/86583789

有限差分估计梯度：

写起来简单，但速度慢而且结果区分度不大

 

解析梯度：

计算图：

 

反向传播工作机制：

从输出开始乘以每个节点的本地梯度，一直传递到输入

梯度从后向前传播（链式法则）

 

 

 

 

sigmoid函数：

 

 

加法门、max门、乘法门：

加法门相当于分配梯度

max门相当于路由器，将梯度传给上游最大值所在节点

乘法门相当于转换器

 

 

多个神经元在节点处相加的梯度等于每个神经元的梯度相加的和

 

 

 向量的反向传播：

 

反向传播api：

 

例：

 

 

 summary：

 

 

 

 

 

 

1