1108博客

最近在啃人工智能数学基础，梯度下降是让我印象最深的知识点。它本质就是模型寻找最优解的方法，像下山一样，沿着坡度最陡的方向一步步往下走，直到抵达谷底，找到最小损失值。
想要用好它，微积分里的求导是核心。梯度代表损失函数变化最快的方向，学习率决定每一步迈多大。步子太大容易跨过最低点来回震荡；步子太小，收敛又慢得让人着急。
只看公式很抽象，我试着手动算简单函数的梯度，再用代码画出损失曲线，一下子清晰很多。也慢慢明白，很多调参背后，其实都是梯度下降的延伸。吃透这个知识点，不再只会复制代码跑模型，能够理解神经网络是怎么一点点 “学会” 东西的。