2017年9月14日
深度学习激活函数比较
摘要： 一、Sigmoid函数 1）表达式 2）函数曲线 3）函数缺点 梯度饱和问题。先看一下反向传播计算过程： 反向求导： 而其中： 所以，由上述反向传播公式可以看出，当神经元数值无线接近1或者0的时候，在反向传播计算过程中，梯度也几乎为0，就导致模型参数几乎不更新了，对模型的学习贡献也几乎为零。也称为参 阅读全文
posted @ 2017-09-14 15:00 光彩照人 阅读(861) 评论(0) 推荐(0)