2018年1月2日
详解梯度爆炸和梯度消失
摘要： 那么为什么会出现梯度消失的现象呢？因为通常神经网络所用的激活函数是sigmoid函数，这个函数有个特点，就是能将负无穷到正无穷的数映射到0和1之间，并且对这个函数求导的结果是f′(x)=f(x)(1−f(x))。因此两个0到1之间的数相乘，得到的结果就会变得很小了。神经网络的反向传播是逐层对函数偏导 阅读全文
posted @ 2018-01-02 15:06 hank的DL之路 阅读(19770) 评论(1) 推荐(0) 编辑