2025年10月12日
关于深度学习中的优化器：Adam、AdamW、Muon、Shampoo
摘要： Adam（Adaptive Moment Estimation） Adam是一种自适应地优化算法，结合了Momentum和RMSProp的特点，在优化过程中自适应地调整优化的学习率，其组成部分主要分为一阶矩估计和二阶矩估计 1、一阶矩估计表示为\(m_t\)，计算公式如下： \(m_t=\beta_ 阅读全文
posted @ 2025-10-12 23:23 Luna-Evelyn 阅读(8) 评论(0) 推荐(0)