常用激活函数

Sigmoid

$\sigma \left( z \right) = \frac{1}{{1 + {e^{ - z}}}}$，${\sigma ^`}\left( z \right) = \sigma \left( z \right)\left( {1 - \sigma \left( z \right)} \right)$

优点：求导容易，单调连续，输出范围在0到1之间。

缺点：导数小于0.25，在大部分区间都饱和，容易造成梯度消失。

 

tanh

$\tanh \left( z \right) = \frac{{{e^z} - {e^{ - z}}}}{{{e^z} + {e^{ - z}}}} = 2sigmoid\left( {2z} \right) - 1$，${t^`}\left( z \right) = 1 - {\left( {t\left( z \right)} \right)^2}$

优点：比sigmoid收敛快，在0附近近似为线性，以0为中心。

缺点：梯度小于等于1，还是容易造成梯度消失。

 

ReLU

$ReLU\left( z \right) = \max \left( {0,z} \right)$

优点：大于0部分梯度恒为1，不容易造成梯度消失和梯度爆炸，收敛速度快，提供了网络的稀疏表达能力。

缺点：可能会造成神经元死亡，输出不是以0为中心的。

 

softplus

$softplus\left( z \right) = \log \left( {1 + {e^z}} \right)$

 

softmax

$soft\max \left( {{z_i}} \right) = \frac{{{e^{{z_i}}}}}{{\sum\limits_{j = 1}^n {{e^{{z_j}}}} }}$，$\frac{{\partial {S_i}}}{{{z_j}}} = \left\{ {\begin{array}{*{20}{c}}
{{S_i}\left( {1 - {S_j}} \right),i = j}\\
{ - {S_j}{S_i},i \ne j}
\end{array}} \right.$

softmax并不会改变输出层的相对大小，所以为了减少计算量，神经网络在推理阶段一般不会计算softmax值，只在学习阶段计算softmax值。