深度学习面试题01:导数、偏导数、方向导数、梯度的概念

目录

  导数

  偏导数

  方向导数

  梯度

  参考资料


 

导数

导数反映的是函数y=f(x)在某一点处沿x轴正方向的变化率。

 

 比如y=x2,在x=1处的导数=2。

 导数是通过极限来定义的,某一点的导数=tanψ,但是前提是△x趋近于0,此时tanψ=tanα=该点导数,公式如下:

 

 

 返回目录

 

偏导数

在多元函数中,偏导数指的是函数y(x1,x2,…,xn)沿某一坐标轴(x1,x2,…,xn)正方向的变化率。

 

比如z=x2+y2,在(1,2)处的在x方向上的偏导数:

 

 

截取y=2的曲线,可以发现在x方向的导数=2

 返回目录

 

方向导数

 导数和偏导数都是沿坐标轴正方向的变化率。那么当我们讨论函数沿任意方向的变化率时,也就引出了方向导数的定义,即:某一点在某一趋近方向上的导数值。

比如,可以计算函数在点A(2,2,8)处沿黑色箭头方向的导数。这里有两种计算方式:

方式1:

方式2:

与x=y联立方程组,得到过点A的剖面

易知,剖面方程为z=2x2,以z为纵轴,x坐标轴方向换为L的方向,得到

 

点A(2,2,8)在x’方向上的坐标为,因此在A点处沿L方向的导数为

 返回目录

 

梯度

梯度是一个向量,表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大(为该梯度的模)。

这里注意三点: 
1)梯度是一个向量,即有方向有大小; 
2)梯度的方向是最大方向导数的方向; 
3)梯度的值是最大方向导数的值。

比如z=x2+y2+xy在点A(2,2,12)处的梯度为

如图,在A点,红色方向是最大方向导数的方向,很明显红线方向的导数高于沿着黑线方向的导数。

那么A点的梯度方向是红色方向;A点的梯度值为

 返回目录

 

参考资料

[机器学习] ML重要概念:梯度(Gradient)与梯度下降法(Gradient Descent)

https://blog.csdn.net/walilk/article/details/50978864

 返回目录

 

posted @ 2019-07-01 18:09  黎明程序员  阅读(2266)  评论(0编辑  收藏  举报