随笔分类 -  深度学习 / 动手学深度学习 / 优化算法 / AdaGrad算法

11.7.1 稀疏特征和学习率
摘要：AdaGrad的两个好处的第一个解释如下 第一个benefit的含义是： Adagrad通过自动累加历史梯度平方值来调整学习率，省去了人为设定“梯度多大才算大”的阈值（threshold）。 具体解释： 原始方法的问题：例如在某些优化算法中，可能需要手动设定一个阈值，当梯度超过该值时，才调整学习率或 阅读全文
posted @ 2025-02-17 14:57 最爱丁珰 阅读(81) 评论(0) 推荐(0)