PyTorch——(8) 正则化、动量、学习率、Dropout、BatchNorm

@

目录

• 正则化
  • L-1正则化实现
  • L-2正则化
• 动量
• 学习率衰减
  • 当loss不在下降时的学习率衰减
  • 固定循环的学习率衰减
• Dropout
• Batch Norm

正则化

L-1正则化实现

PyTorch没有L-1正则化，所以用下面的方法自己实现

L-2正则化

一般用L-2正则化
weight_decay 表示\(\lambda\)

动量

moment参数设置上式中的\(\beta\),表式上一时刻梯度所占的比例0~1之间

学习率衰减

当loss不在下降时的学习率衰减

固定循环的学习率衰减

Dropout

Dropout在train时使用，在test时要手动关闭

Batch Norm