神经网络学习笔记2-多层感知机，激活函数

1多层感知机

定义：多层感知机是在单层神经网络上引入一个或多个隐藏层，即输入层，隐藏层，输出层

2多层感知机的激活函数：

如果没有激活函数，多层感知机会退化成单层

多层感知机的公式：　　隐藏层   H=XW_h+b_h

                                        输出层   O=HW₀+b₀=(XW_h+b_h)W₀+b₀=XW_hW₀+b₀W₀+b₀

其中XW_hW₀相当于W，b₀W₀+b₀相当于b，即WX+b的形式，与单层的同为一次函数，因此重新成为了单层

3激活函数的作用

  （1）让多层感知机成为了真正的多层感知机，否则等于一层的感知机

  （2）引入非线性，使网络逼近了任意的非线性函数,弥补了之前单层的缺陷

4激活函数的特质

    (1) 连续可导（允许少数点不可导），便于数值优化的方法学习网络参数

    (2）激活函数尽可能简单，提高计算效率

    (3）激活函数的导函数的导函数的值域要在合适的区间，否则影响训练的稳定和效率

5 常见的激活函数

 

1 sigmod型

 

 常见于早期的神经网络，RNN和二分类项目，值域处于0到1，可以用来输出二分类的概率

弊端:处于饱和区的函数无法再更新梯度，向前传播困难

2  tahn（双曲正切）

 

 

 

3 ReLu（修正线性单元）

 

 

最常用的神经网络激活函数，不存在饱和区，虽然再z=0上不可导，但不违背激活函数的特质（允许在少数点上不可导），广泛运用于卷积网络等