深度之眼（十八）——偏导数与矩阵的求导

文章目录

一、偏导数

在这里插入图片描述
在这里插入图片描述

对某个变量求偏导，则其余变量看成常数


在这里插入图片描述

可以直接认为成立，不必拘泥条件

二、多元复合函数的求导法则，链式求导法则

在这里插入图片描述

这里举了一个不错的技巧，可以看z到t有几条路径
在这里插入图片描述
对多元时求偏导的方法
比如对x求偏导，就看到x的路径，有几条，分别经过什么

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

关键是画准链式关系

三、方向导数与梯度及其应用

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

举例

在这里插入图片描述

在这里插入图片描述
梯度的正方向，是梯度增长最快的方向。
梯度的负方向，是梯度减小最快的方向

四、多元函数泰勒公式与海森炬阵

一般用到二阶

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
海森矩阵是个对称矩阵

五、多元角数的极值

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

六、距阵的求导

在这里插入图片描述
在这里插入图片描述

f(x)对其求偏导，就是个列向量，有几个变量，就有行
右值都是看成实数

在这里插入图片描述

对x求偏导
对x求偏导
对x求偏导
对a求偏导
fx = Ax
A
fx = x^Tx
Ax+A^Tx
fx = a^Tx
a
x

解释之前的J

在这里插入图片描述
在这里插入图片描述

所以J对a求偏导等于0，过程在上面

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

七、矩阵的求导在深度学习中的应用

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

posted @ 2022-07-28 13:55  周末不下雨  阅读(557)  评论(0)    收藏  举报