激活函数有哪些

sigmoid函数，relu函数，tanh函数

怎么选取激活函数

函数的极限

当自变量趋于有限值时的极限

\underset{x\rightarrow x_0}{lim}f(x)=A\leftrightarrow \underset{x\rightarrow x_0^-}{lim}f(x)=\underset{x\rightarrow x_0^+}{lim}f(x)=A

自变量趋于无穷大时函数的极限

tanh(x)与sigmoid(x)的关系

tanh(x)=2*sigmoid(2x)-1