常用矩阵运算

作者：桂。

时间：2017-09-09  12:48:45

链接：http://www.cnblogs.com/xingshansi/p/7498175.html 

---

一、复数相乘

可以表示为分块的形式：

二、范数

　　A-范数基本定义

p = 0，0范数，对应非零元素个数；

p = 1，1范数，也成和范数；

p = 2，常称为Euclidean范数，也成Frobenius范数

p = ∞， 无穷范数，也称极大范数。

直接定义p，则p范数或Minkowski p范数，也叫Holder范数。

　　B-其他常用范数

1-谱范数（spectrum norm）

其中是矩阵A的最大奇异值，即最大特征值的正平方根。

谱范数也称最大奇异值范数或者算子范数（operator norm）。

2-Mahalanobis范数

其中是正定矩阵。

三、矩阵的迹

　　A-迹的一般性质

迹等于特征值之和：

而根据SVD分解特性（PCA、KL变换均有用到），可知特征值体现的是能量，故矩阵的迹可以与Euclidean范数建立联系：

　　B-迹的其他特性

其实矩阵的迹，借助矩阵分解来理解会容易很多，迹的其他特性：

由于1标量可以，其本身看作与迹等价，从而有（tr(AB)=tr(BA)、对角和=迹，借助这两条性质可证）：

　　C-迹的微分特性

1）若W是mxm的矩阵：

2）若W可逆：

 

3）对于矩阵W、A，有

4）若W非奇异，

5）对于矩阵W、A：

6）对于矩阵W、A、B，且W非奇异：

 

四、行列式

 给出行列式定义：

对于一个三角矩阵A：

另外，

五、矩阵求逆

　　A-矩阵求逆基本性质

若A\B\C可逆：

若A为对角阵：

若A非奇异：

　　B-矩阵求逆引理

求逆引理，也称Sherman-Morrison公式：若A是一个nxn的可逆矩阵，且x和y是两个nx1的向量，使得 可逆，则：

该引理可进一步推广为矩阵之和的求逆公式：

简化的形式：

分块矩阵求逆：

1）若A可逆：

2）若A、D均可逆：

　　C-广义逆矩阵

广义逆矩阵参考之前的博文。

六、Hadamard积与Kronecker积

　　A-矩阵的直和

mxm的矩阵A与nxn的矩阵B，其直和记作：，它是一个(m+n)x(m+n)的矩阵，

　　B-Hadamard积

Hadamard积其实就是对应元素相乘。

两个mxn的矩阵、，其Hadamard积记作：，

　　C-Kronecker积

Kronecker积表示的是矩阵元素与另一矩阵相乘的运算，用表示。

 1）右Kronecker积：mxn矩阵A和pxq的矩阵B：

 2）左Kronecker积：mxn矩阵A和pxq的矩阵B：

其中同样可以写为。

七、矩阵梯度

一个基本形式是：

借助该形式，即可完成一般的梯度求解：

 同时，结合梯度的四个基本法则，便可完成常用的梯度求解。

1）线性法则

2）乘积法则

3）商法则

4）链式法则