反向传播

 

 反向传播是为了更新参数，参数更新要用代价函数对参数求导，但是参数可能是经过很多层间接作用到最后一层的输出上的。 所以用先计算每层输入对最后代价函数的影响， 最后对参数的更新就可以表示为代价函数对每层的影响残差 (代价函数每一层的输入求偏导)再链式乘上输入对参数求偏导。最后参数的更新值就变为:每层的残差乘上上一层的输出。

而在计算每一层的残差时，l层的残差是建立在l+1层的残差之上的，因为我们最先能算出倒数第一层的残差，（代价函数对第l层的输入求偏导，相当于对l+1 层的输入求偏导，再乘上l+1层的输入对l层的输出求偏导，这两个值已经能得到）

 激活函数详解：http://www.cnblogs.com/fanhaha/p/7061318.html

 

 

 

 

流程：

输入训练集

对于训练集中的每个样本x，设置输入层（Input layer）对应的激活值：

• 前向传播：

　　　　， 

　　　计算输出层产生的错误：

   　　　

　　　反向传播错误：

　　　　

 　　   使用梯度下降（gradient descent），训练参数：

 

          

 

          

 

参考博文：http://www.cnblogs.com/Crysaty/p/6138390.html

 

补充问题： 防止过拟合？

                  梯度下降解释