2024年8月30日
Datawhale X 李宏毅苹果书AI夏令营深度学习进阶(二)
摘要： 一.动量法 在上一个博客中，我们提到了动量法，现在继续补充 如图所示，红色表示负梯度方向，蓝色虚线表示前一步的方向，蓝色实线表示真实的移动量。一开始没有前一次更新的方向，完全按照梯度给指示往右移动参数。负梯度方向跟前一步移动的方向加起来，得到往右走的方向。一般梯度下降走到一个局部最小值或鞍点时，就被 阅读全文
posted @ 2024-08-30 08:46 W12w 阅读(35) 评论(0) 推荐(0)