梯度下降与反向传播

1、梯度

基本概念：是一个向量，导数（损失函数）+变化最快的方向（学习前进的方向）

　　a、向量

　　b、学习（参数更新）的方向

2、梯度下降

　　a、算出梯度（损失函数导数）：熟悉常见函数的求导，复合函数求导（链式法则）如下：

　　b、w=w-a*Δw

3、反向传播

　　a、计算图：通过图的方式来描述函数的图形。例如：

 　　绘制计算图之后，可以清楚看到向前计算过程

　　

 

　　b、  神经网络中的反向传播，看下图理解

 

 

 

 

 一层一层从后先前计算每一层梯度，