会员
周边
新闻
博问
融资
云市场
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
我们都是大好青年
博客园
首页
新随笔
联系
订阅
管理
2020年2月24日
在训练过程中loss出现NaN的原因以及可以采取的方法
摘要: NaN的意思是not a number,不是一个数字。 1、梯度爆炸 一般loss的相关量是w——> w的相关量(更新方式)是梯度——>和梯度有关 原因:在学习过程中,梯度变得非常大,使得学习的过程偏离了正常的轨迹。 症状:观察输出日志(runtime log)中每次迭代的loss值,你会发现los
阅读全文
posted @ 2020-02-24 18:57 我们都是大好青年
阅读(6934)
评论(0)
推荐(0)
编辑
激活函数的饱和,左饱和、右饱和、软饱和、硬饱和、非饱和
摘要:
阅读全文
posted @ 2020-02-24 10:10 我们都是大好青年
阅读(449)
评论(0)
推荐(0)
编辑
公告