【机器学习】什么是梯度

百度百科定义

梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

也就是说当自变量按照该方向（梯度的方向）变化时，函数值变化的最快，通常函数指的是损失函数，我们希望损失函数可以取到最小值，所以要取梯度的反方向，也就是常说的梯度下降。

那这个方向到底是什么方向呢，参考等高线示意图

放大图中的某一点

打眼一瞅就看出来了，肯定是该点法线方向变化最快啊，所以这就是梯度的方向，而梯度的大小就是这一点沿着这个方向的方向导数的大小。

参考博客

https://blog.csdn.net/huibiannihao/article/details/105596957