2025年11月12日
从SGD到AdamW：优化算法的演化
摘要： 想象一下，训练一个神经网络，就像把你蒙上眼睛，丢进一片连绵不绝的山脉里，你的任务是找到最低的山谷。 这个“最低山谷”，就是我们模型的最佳状态——损失函数的最小值。 问题来了：你看不见全局地图，只能靠脚下的坡度来判断方向。下一步该往哪走？步子迈多大？ 这就是优化器 (Optimizer) 要解决的核心 阅读全文
posted @ 2025-11-12 11:18 Luxxx23 阅读(158) 评论(0) 推荐(3)