PyTorch——(8) 正则化、动量、学习率、Dropout、BatchNorm

@

目录

正则化

![在这里插入图片描述]( https://img-blog.csdnimg.cn/20210428143256443.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MjEzMjYw,size_16,color_FFFFFF,t_70)

L-1正则化实现

PyTorch没有L-1正则化，所以用下面的方法自己实现
![在这里插入图片描述]( https://img-blog.csdnimg.cn/20210428143452634.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MjEzMjYw,size_16,color_FFFFFF,t_70)

L-2正则化

一般用L-2正则化
weight_decay 表示\(\lambda\)
在这里插入图片描述

动量

![在这里插入图片描述]( https://img-blog.csdnimg.cn/20210428143817209.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MjEzMjYw,size_16,color_FFFFFF,t_70)
moment参数设置上式中的\(\beta\),表式上一时刻梯度所占的比例0~1之间在这里插入图片描述

学习率衰减

当loss不在下降时的学习率衰减

![在这里插入图片描述]( https://img-blog.csdnimg.cn/20210428144417269.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MjEzMjYw,size_16,color_FFFFFF,t_70)

固定循环的学习率衰减

![在这里插入图片描述]( https://img-blog.csdnimg.cn/20210428144459797.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MjEzMjYw,size_16,color_FFFFFF,t_70)

Dropout

![在这里插入图片描述]( https://img-blog.csdnimg.cn/20210428144627187.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MjEzMjYw,size_16,color_FFFFFF,t_70)
Dropout在train时使用，在test时要手动关闭
![在这里插入图片描述]( https://img-blog.csdnimg.cn/20210428144724415.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MjEzMjYw,size_16,color_FFFFFF,t_70)

Batch Norm

![在这里插入图片描述]( https://img-blog.csdnimg.cn/20210428145031507.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MjEzMjYw,size_16,color_FFFFFF,t_70)
![在这里插入图片描述]( https://img-blog.csdnimg.cn/20210428145100718.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MjEzMjYw,size_16,color_FFFFFF,t_70)

posted on 2021-04-28 18:47  一抹烟霞  阅读(347)  评论(0)    收藏  举报
博客园  ©  2004-2026
浙公网安备 33010602011771号 浙ICP备2021040463号-3

Live2D