2018年2月5日
神经网络的激活函数及梯度消失
摘要： ICML 2016 的文章[Noisy Activation Functions]中给出了激活函数的定义：激活函数是映射 h:R→R，且几乎处处可导。 神经网络中激活函数的主要作用是提供网络的非线性建模能力，如不特别说明，激活函数一般而言是非线性函数。假设一个示例神经网络中仅包含线性卷积和全连接运算 阅读全文
posted @ 2018-02-05 22:11 junjie_x 阅读(3391) 评论(0) 推荐(1) 编辑