会员
周边
新闻
博问
AI培训
云市场
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
机器爱学习
博客园
首页
新随笔
联系
管理
2018年1月2日
详解梯度爆炸和梯度消失
摘要: 那么为什么会出现梯度消失的现象呢?因为通常神经网络所用的激活函数是sigmoid函数,这个函数有个特点,就是能将负无穷到正无穷的数映射到0和1之间,并且对这个函数求导的结果是f′(x)=f(x)(1−f(x))。因此两个0到1之间的数相乘,得到的结果就会变得很小了。神经网络的反向传播是逐层对函数偏导
阅读全文
posted @ 2018-01-02 15:06 hank的DL之路
阅读(19786)
评论(1)
推荐(0)
编辑
公告