点此进入CSDN

点此添加QQ好友 加载失败时会显示




2020年9月4日
warmup预热学习率
摘要： 学习率是神经网络训练中最重要的超参数之一,针对学习率的优化方式很多,Warmup是其中的一种 (一)、什么是Warmup?Warmup是在ResNet论文中提到的一种学习率预热的方法，它在训练开始的时候先选择使用一个较小的学习率，训练了一些epoches或者steps(比如4个epoches,100 阅读全文
posted @ 2020-09-04 18:57 高颜值的殺生丸 阅读(1009) 评论(0) 推荐(0) 编辑

作者信息

昵称：

刘新宇

园龄：4年6个月


粉丝：1209


QQ：522414928