2025年6月16日
梯度震荡
摘要： 梯度震荡:通常指梯度在迭代更新的时候呈现剧烈波动或者不规则变化. 典型表现 1.数值波动大:梯度的大小在不同的迭代中显著起伏,例如某一步的梯度突然骤增或者骤降. 2.方向不稳定:参数路径曲折,并不是平滑的指向最优解. 3.损失函数震荡:损失值不平稳下降,而是频繁的上下波动,难以收敛或收敛速度极慢. 阅读全文
posted @ 2025-06-16 06:15 Merlin·Lee 阅读(68) 评论(0) 推荐(0)