随笔分类 -  深度学习 / 动手学深度学习 / 优化算法 / Adam算法

11.10.1 算法
摘要：Adam(Adaptive Moment Estimation)算法可以直观理解为“智能调整步长的动量法”，结合了动量加速和自适应学习率的优势。以下是逐步解释： 1. 核心思想：动量和自适应学习率的结合 动量（惯性）：类似滚下山坡的球，利用历史梯度方向保持运动惯性，减少震荡。 自适应学习率：根据每个 阅读全文
posted @ 2025-02-17 15:16 最爱丁珰 阅读(133) 评论(0) 推荐(0)