第三章

3.8 激活函数

 主要作用：二分类的输出节点，其他时候一般不用。缺点：接近正负一的时候，梯度下降太缓慢

主要作用：数据中心话。缺点：同上

主要作用：作为隐藏层？？？、

 3.11 W的初始化不能用全0

初始化成一个很小的随机数（0.01让这个数足够小），W如果很大，会落在激活函数的平缓部分，学习得很慢。

4.7

前向传播与后向传播

求dz的时候，建立dz(l-1)与dz(l)之间的关系。