Week5.2_反向传播的详解_θ矩阵展开_梯度检测_随机初始化θ

神经网络反向传播

1. i,j 分别是θ的行列
2. j=0？
3. 反向传播为了求出cost function的偏导

---

后向传播的深入理解

1.前向传播得到的a，与后向传播得到的δ 计算的方式是相同的

2.注意δ^{(0) 是没有的}

---

从矩阵展开成向量→（在高级优化中使用）

1. thetaVec组成一个大的矩阵，目的：在正向计算和反向计算中更以存储θ
2. reshape：将组成的矩阵再拆散
   
   
   

---

梯度检查

原因：在神经网络使用梯度下降法时候会有小错误的产生，使用梯度检测可以看出D有没有出错

1. 采用双侧差分估值
2. 计算时，不要将梯度检测放置在循环中，因为计算量巨大，拖慢程序，只是一种检测手段，反向传播的方式计算出的D更快，因此记住要关闭
   
   
   
   

---

随机初始化θ

目的：起点的初始值θ_1\2\3 不能设置成[0,0,0..],在回归网络中可以，但在神经网络中采用，使得隐藏层得到全相同的特征,第一层a₁=a₂,这是没有价值的

方法：随机初始化θ，在一个-ε~ε之间的值