loss explosion

1.遇到大坑

  笔者在最近的训练任务中,发现loss无穷大!!!

   一般情况下,梯度变为nan都是出现了 [公式] , [公式] 等情况,导致结果变为+inf,也就成了nan。

2.寻找错误

  由于笔者做的实例分割,在对bound ing  box求loss的时候,采用的是smooth L1:

 

   可以看到,loss为无穷时,是各个Zi 比较大的时候,由于其中我们在求anchors的时候是对整张图片做的归一化,所以求loss时要保证单位刻度一样。

     

 改成:

结果:

posted @ 2021-05-23 09:36  为红颜  阅读(104)  评论(0编辑  收藏  举报