Week5.1_神经网络的代价函数_反向传播

 

一、神经网络中的代价函数

l：第几层 ；  i ：

1. K 是最后分类的个数

2.theta0不加入惩罚函数中

3.由逻辑回归的归一化形式（避免过拟合）推到出神经网络的形式

 

二、反向传播--减小代价函数--计算出代价函数的偏导（依然是最速下降法的思想）

 

1. δ：第 l 层，第 j 节点的激励值的误差        VS          a ：第 l 层，第 j 个单元的激励

2. g'(z⁽³⁾)=  sigmioid(a⁽³⁾⁾.*(1- sigmoid(a⁽³⁾⁾)  

3.第一层没有误差δ^（1）