矩阵相关基本概念

1、复共轭转置矩阵

矩阵 \(A\) 的复共轭转置记作 \(A^H\) ，定义为

$$A^H=\left[\begin{array}{cccc}{a}_{11}^{\ast }& a_{21}^{\ast }& \cdots & a_{m1}^{\ast }\\ a_{12}^{\ast }& a_{22}^{\ast }& \cdots & a_{m2}^{\ast }\\ ⋮& ⋮& & ⋮\\ a_{1n}^{\ast }& a_{2n}^{\ast }& \cdots & a_{mn}^{\ast }\end{array}\right]$$

共轭转置又叫 Hermitian伴随，Hermitian转置或Hermitian共轭。满足 \(A^H=A\) 的正方复矩阵称为Hermitian矩阵或共轭对称矩阵。

2、矩阵的内积

矩阵 \(A\) 和 \(B\) 的内积记作 \(\left \langle A,B \right \rangle\) ，定义为
$$⟨A,B⟩=A^{H}B$$

3、矩阵的特殊运算

矩阵的指数定义为
$$\exp (A)=\sum _{k=0}^{\mathrm{\infty }}\frac{1}{k!}{A}^k$$
矩阵的对数定义为
$$\log (I_n-A)=-\sum _{k=0}^{\mathrm{\infty }}\frac{1}{k!}{A}^k$$
如果矩阵\(A\)的元素\(a_{ij}\)都是参数\(t\)的函数，则矩阵的导数定义为
$$\frac{dA}{dt}=\dot{A}=\left[\begin{array}{cccc}\frac{d{a}_{11}}{dt}& \frac{d{a}_{12}}{dt}& \cdots & \frac{d{a}_{1n}}{dt}\\ \frac{d{a}_{21}}{dt}& \frac{d{a}_{22}}{dt}& \cdots & \frac{d{a}_{2n}}{dt}\\ ⋮& ⋮& & ⋮\\ \frac{d{a}_{m1}}{dt}& \frac{d{a}_{m2}}{dt}& \cdots & \frac{d{a}_{mn}}{dt}\end{array}\right]$$
矩阵的积分定义为
$$\int Adt=\left[\begin{array}{cccc}\int a_{11}dt& \int a_{12}dt& \cdots & \int a_{1n}dt\\ \int a_{21}dt& \int a_{22}dt& \cdots & \int a_{2n}dt\\ ⋮& ⋮& & ⋮\\ \int a_{m1}dt& \int a_{m2}dt& \cdots & \int a_{mn}dt\end{array}\right]$$

4、矩阵的二次型

任意一个正方矩阵 \(A\) 的二次型 \(x^HAx\) 为一实标量。在讨论矩阵\(A\)的二次型时，通常假定 \(A\) 为实对称矩阵或者复共轭对称矩阵（即Hermitian矩阵）。

一个共轭对称矩阵\(A\)称为

• 正定矩阵，若二次型 \(x^HAx > 0\) ，\(\forall x \ne0\)
• 半正定矩阵，若二次型 \(x^HAx \ge 0\) ，\(\forall x \ne0\) (也称非负定)
• 负定矩阵，若二次型 \(x^HAx < 0\) ，\(\forall x \ne0\)
• 半负定矩阵，若二次型 \(x^HAx \le 0\) ，\(\forall x \ne0\) （也称非正定）
• 不定矩阵，二次型 \(x^HAx\) 既可能取正值又可能取负值

5、矩阵的迹

\(n\times n\) 矩阵 \(A\) 的对角元素之和称为 \(A\) 的迹，记作 \(tr(A)\)，即
$$tr(A)=a_{11}+a_{22}+\cdots +a_{nn}=\sum _{i=1}^n{a}_{ii}$$

\(\bigstar\) 关于迹的等式

\(①\) \(tr(A\pm B)= tr(A)\pm tr(B)\)

\(②\) \(tr(cA) = c\ tr(A)\)

\(③\) \(tr(c_1A \pm c_2B ) = c_1\ tr(A) \pm c_2\ tr(B)\)

\(④\) 矩阵 \(A\) 的转置、复数共轭和复共轭转置的迹分别为
$$tr(A^T)=tr(A)$$$$tr(A^{\ast })=tr(A^H)={[tr(A)]}^{\ast }$$

\(⑤\) 若矩阵 \(A\) 和 \(B\) 均为 \(m\times m\) 矩阵，且 \(B\) 非奇异，则
$$tr(BA{B}^{-1})=tr(B^{-1}AB)=tr(A)$$

\(⑥\) \(tr(A^HA)=0\Leftrightarrow A=O_{m\times n}\)

\(⑦\) \(x^HAx=tr(Axx^H)\) 和 \(y^Hx=tr(xy^H)\)

\(⑧\) 分块矩阵的迹满足
$$tr\left[\begin{array}{cc}A& B\\ C& D\end{array}\right]=tr(A)+tr(D)$$

\(⑨\) 迹等于特征值之和，即
$$tr(A)={\lambda }_1+{\lambda }_2+\cdots +{\lambda }_n$$

\(⑩\) 对任何正整数 \(k\)，有
$$tr(A^k)=\sum _{i=1}^n{\lambda }_i^k$$

\(\bigstar\) 关于迹的不等式

\(①\) 对一个复矩阵 \(A\in C^{m\times n}\)，有 \(tr(A^HA)=tr(AA^H)\ge0\)

\(②\) Schur不等式：\(tr(A^2)\le tr(A^TA)\)

\(③\) Cauchy-Schwartz不等式：\(tr\left [ (A^TB)^2 \right ] \le tr(A^TA) tr(B^TB)\)

\(④\) \(tr\left [ (A+B)(A+B)^T \right ] \le 2\left [ tr(AA^T) + tr(BB^T)\right ]\)

\(⑤\) 若 \(A\) 和 \(B\) 为 \(m\times m\) 对称矩阵，则 \(tr(AB)\le \frac{1}{2} tr(A^2+B^2)\)

6、逆矩阵

\(\bigstar\) 矩阵求逆定理：对于维数相容的矩阵 \(A、B、C\) 和 \(D\)，有
$$(A+BCD{)}^{-1}=A^{-1}-A^{-1}B(C^{-1}+D{A}^{-1}B{)}^{-1}D{A}^{-1}$$
矩阵求逆定理被称为Sherman-Woodbury-Morrison等式，其中两个有用的特例为
$$(A+BD{)}^{-1}=A^{-1}-A^{-1}B(I_N+D{A}^{-1}B{)}^{-1}D{A}^{-1}$$$$(A+cb{d}^H{)}^{-1}=A^{-1}-\frac{A^{-1}b{d}^H{A}^{-1}}{c^{-1}+d^H{A}^{-1}b}$$

\(\bigstar\) 矩阵行列式引理：对于维数相容的矩阵 \(A、B、C\) 和 \(D\)，有
$$|A+BCD|=\left|A\right|\cdot \left|C\right|\cdot |C^{-1}+D{A}^{-1}B|$$
其中几个有用的特例为
$$|A+BD|=\left|A\right|\cdot |I_N+D{A}^{-1}B|$$$$|I_N+BD|=|I_N+DB|$$$$|A+b{d}^H|=\left|A\right|\cdot (1+d^H{A}^{-1}b)$$
其中，假设 \(A\) 为 \(N\times N\) 维可逆方阵。

7、Hadamard积

矩阵的直和：\(m\times m\) 矩阵 \(A\) 和 \(n\times n\) 矩阵 \(B\) 的直和记作 \(A\oplus B\)，其是一个 \((m+n)\times (m+n)\) 矩阵，定义为
$$A\oplus B=\left[\begin{array}{cc}A& O_{m\times n}\\ O_{n\times m}& B\end{array}\right]$$

\(m\times m\) 矩阵 \(A=[a_{ij}]\) 和 \(n\times n\) 矩阵 \(B=[b_{ij}]\) 的Hadamard积记作 \(A\odot B\)， 其仍然为一个 \(m\times n\) 矩阵，定义为
$$A\odot B=\left[a_{ij}{b}_{ij}\right]$$
Hadamard积也称为Schur积或者对应元素乘积。