激活函数整理

博客地址：https://www.cnblogs.com/zylyehuo/

参考：https://blog.csdn.net/qq_42691298/article/details/126590726

为什么要使用激活函数

如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机（Perceptron）。

使用激活函数能够给神经元引入非线性因素，使得神经网络可以任意逼近任何非线性函数，使深层神经网络表达能力更加强大，这样神经网络就可以应用到众多的非线性模型中。

Softmax 激活函数

Sigmoid 激活函数

Tanh 激活函数

ReLU 激活函数