网络调试技巧

1.Batchsize变大时：

　　线性增加步长

　　开始时使用小步长，参数热身直到初始步长

　　BN的伽马参数为0？？？？

　　bias的weight-decay为0

 

posted @ 2019-07-17 13:21  youqia  阅读(610)  评论(0)  编辑  收藏  举报