数学基础

卷积神经网络预备数学基础

1. 激活函数

　　在神经网络中，虽然理论上激活函数可以选择线性函数，但是一般选择非线性的sigmoid 函数：

　　　　　　　　

　　其对x的导数为：

　　　　　　　　

　　此外还可以选择正切函数 tanh：

　　　　　　　　

　　或者硬限幅函数：

　　　　　　　　

　　或者斜面函数：