神经网络（二） 激活函数

一.sigmoid：

1.是什么（X均为加权求和的结果）

2.求导

3.特点：可以将任意的输入值映射到0到1之间 且输入值在-6到6才明显，-3到3变化迅速，导数范围是0到0.25，于是5层之内会产生梯度消失，所以仅用于浅层，一般用于二分类的输出层

二.tanh：

1.是什么：

2.求导：X越大越接近1反之则-1

3.特点：迭代较快，-3到3有效果，-1到1效果明显应用于隐藏层

三.ReLu：

1.是什么：

2.求导：

3.特点:重视正信号忽视负信号，运算简单能提高模型运算效率，输入小于0时神经元死亡，应用于隐藏层，适合深层神经网络。LeakyReLu，PReLu可用于考虑正负样本

四.softmax：

1.是什么：sigmoid在多分类上的推广

2.特点：将多分类的结果以概率的形式展示，最终选取概率值最大的分类作为结果

五.激活函数的选取：