吴恩达神经网络和深度学习——深层神经网络

一、深层神经网络

1. 深层的作用

• 随着层数由浅到深，神经网络提取的特征也是从边缘到局部特征到整体，由简单到复杂。如果隐藏层足够多，那么能够提取的特征就越丰富、越复杂，特征复杂度与神经网络层数成正相关，模型的准确率就会越高
• 深层神经网络相对于又胖又浅的神经网络，可以减少神经元个数，减少计算量，

2. 前向传播和反向传播

 

 

 

 

 3. 参数和超参数

　　参数即是我们在过程中想要模型学习到的信息（模型自己能计算出来的），例如 W^[l]，b^[l]。而超参数（hyper parameters）即为控制参数的输出值的一些网络信息（需要人经验判断）。超参数的改变会导致最终得到的参数 W^[l]，b^[l]的改变。

典型的超参数有：

• 学习速率：α
• 迭代次数：N
• 隐藏层的层数：L
• 每一层的神经元个数：n^[1]，n^[2]，...
• 激活函数 g(z) 的选择

通常的做法是选择超参数一定范围内的值，分别代入神经网络进行训练，测试cost function随着迭代次数增加的变化，根据结果选择cost function最小时对应的超参数值