一些激活函数公式

 http://mp.weixin.qq.com/s/4gElB_8AveWuDVjtLw5JUA

sigmoid函数：

导数推导：

所以sigmoid的倒数 y' = 1 - y。

 

其他激活函数及其导数：

 

rectifier(x) = max(0, x) 

rectifier 函数被认为有生物上的解释性。神经科学家发现神经元具有单侧抑制、宽兴奋边界、稀疏激活性等特性。采用 rectifier 函数的单元也叫作正线性单元(rectified linear unit, ReLU)