向量和矩阵函数的微分——机器学习数学基础笔记（一）

 

在机器学习中，算法原理的推导用到数学推导涉及大量的向量及矩阵的微分。

向量及矩阵函数微分可以让整个推导更加简洁、清晰。也有利于从数学本质上理解算法。         

个人理解：向量函数的微分实际是多元函数的微分的向量表示。

 

我们知道

于是把

 

 

 

这就是向量数值函数（以向量为自变量，数值为因变量的函数）对向量自变量的微分

笔者将自己最近阅读学习的材料摘录如下，供自己和大家参考学习。

博客园不能显示word编辑的公式，只好贴图了。

1、向量和矩阵函数的微分概述

因变量分为数值变量和向量变量，因此涉及的内容包括：

（1）  向量及矩阵函数对数值量的微分

（2）  数值、向量及矩阵函数对向量的微分

微分结果：

l  向量函数对数值变量的微分得到微分分量构成的向量：向量à微分向量，行向量微分后仍为行向量，列向量微分后仍为列向量

l  数值函数对向量变量的微分得到的是向量，对列向量微分得到的仍是列向量，对行向量微分得到的仍是行向量

l  向量函数对向量变量的微分得到的是矩阵，对列向量微分得到的是由向量函数各分量对向量自变量微分后的列向量组成的矩阵，对行向量微分得到的是由向量函数各分量对向量自变量微分后的行向量组成的矩阵。

l  矩阵函数的向量微分得到是三维数阵

2、向量对于数值变量的微分

 

（1）向量函数对数值变量的微分等于向量各分量对数值变量微分构成的向量

 

 

对t求微分,即

 

 

 (2)矩阵函数对数值变量的微分等于各元素对数值变量微分构成的矩阵

 

 

 (3)向量和矩阵函数对数值变量微分的运算法则

 

 

3、数值函数对向量的微分

 

 

即以向量为自变量的数值函数对向量的微分等于函数对向量的各个分量微分所得到的向量。若自变量为行向量得到的是微分向量为行向量，若自变量为列向量，得到的微分向量为列向量

 

运算规则：

 

 

4、向量函数对向量的微分

 

 

 

注意转置的区别,对行向量求微分得到由行向量组成微分向量，列为列。

运算规则

 

 

注意：向量函数对向量变量微分的结果是一个矩阵。

5、矩阵函数对向量的微分

 

 

 

 

 

运算规则

 

 

6、应用举例