激活函数

一、激活函数：链接1

1、激活函数是向神经网络中引入非线性因素，通过激活函数神经网络就可以拟合各种曲线。激活函数主要分为饱和激活函数（Saturated Neurons）和非饱和函数（One-sided Saturations）。Sigmoid和Tanh是饱和激活函数，而ReLU以及其变种为非饱和激活函数。

2、非饱和激活函数主要有如下优势：

1）非饱和激活函数可以解决梯度消失问题。

2）非饱和激活函数可以加速收敛。

            

二、sigmoid

三、argmax