2023年3月20日
【pytorch】loss越训越大，没多久就nan
摘要： 最近在调试group dro，老碰上nan的情况。列下几个可能导致的原因： 1. 学习率过大（这个一般很容易排除，我遇到的也不是这个问题） 2. 分式中分母出现了0 （写代码时不容易注意，但出现nan大概率可能是这个） 3. forward中有开方的运算，比如x^0.5 （这是我遇到的情况，非常不容 阅读全文
posted @ 2023-03-20 14:46 lxyhaha 阅读(142) 评论(0) 推荐(0)