2021年8月31日
torch.optim.lr_scheduler
摘要： PyTorch学习率调整策略通过torch.optim.lr_scheduler接口实现。PyTorch提供的学习率调整策略分为三大类，分别是 有序调整：等间隔调整(Step)，按需调整学习率(MultiStep)，指数衰减调整(Exponential)和 余弦退火CosineAnnealing。 阅读全文
posted @ 2021-08-31 21:30 哈哈哈喽喽喽 阅读(215) 评论(0) 推荐(0)
torch.optim.SGD 参数
摘要： https://pytorch.org/docs/stable/generated/torch.optim.SGD.html?highlight=sgd#torch.optim.SGD、 其中weight_decay 参数作用是在SGD中增加的l2的惩罚项 阅读全文
posted @ 2021-08-31 21:18 哈哈哈喽喽喽 阅读(211) 评论(0) 推荐(0)
torch.backends.cudnn.benchmark
摘要： #结论：适用于输入和网络结构不变的场景，加速训练使用# #一般和定义net之后设置 一起使用net = torch.nn.DataParallel(net)# 大家在训练深度学习模型的时候，经常会使用 GPU 来加速网络的训练。但是说起 torch.backends.cudnn.benchmark 阅读全文
posted @ 2021-08-31 20:21 哈哈哈喽喽喽 阅读(298) 评论(0) 推荐(0)