一叶知秋

摘要： Adaptive Learning Rate（自适应学习率） Adaptive Learning Rate（自适应学习率） 是指在模型训练过程中，学习率会根据参数更新的反馈自动调整，而不是使用一个固定值。其核心思想是： 👉 不同参数或不同训练阶段，最优的学习率应该不同。 当 Loss 不在下降，G 阅读全文