2020年2月24日
在训练过程中loss出现NaN的原因以及可以采取的方法
摘要： NaN的意思是not a number,不是一个数字。 1、梯度爆炸 一般loss的相关量是w——> w的相关量（更新方式）是梯度——>和梯度有关 原因：在学习过程中，梯度变得非常大，使得学习的过程偏离了正常的轨迹。 症状：观察输出日志(runtime log)中每次迭代的loss值，你会发现los 阅读全文
posted @ 2020-02-24 18:57 我们都是大好青年 阅读(9058) 评论(0) 推荐(1)
激活函数的饱和，左饱和、右饱和、软饱和、硬饱和、非饱和
摘要： 阅读全文
posted @ 2020-02-24 10:10 我们都是大好青年 阅读(479) 评论(0) 推荐(0)