背景知识-矩阵

矩阵(\(A\)): 矩形的数组...
\begin{align}
A_{m \times n} = \begin{bmatrix}
a_{11} & a_{12} & \cdots & a_{1n} \\
a_{21} & a_{22} & \cdots & a_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
a_{m1} & a_{m2} & \cdots & a_{mn}
\end{bmatrix}
\end{align}

转置(\(A^T\)): 交换矩阵的行和列:
\begin{align}
A_{m \times n}^T = \begin{bmatrix}
a_{11} & a_{12} & \cdots & a_{1m} \\
a_{21} & a_{22} & \cdots & a_{2m} \\
\vdots & \vdots & \ddots & \vdots \\
a_{n1} & a_{n2} & \cdots & a_{nm}
\end{bmatrix}
\end{align}

向量(\(\boldsymbol{x}\)): 是一维数组, 标准形式为列向量, 转置为行向量.

\begin{align}
\boldsymbol{x}=\begin{pmatrix}
x_1\\
x_2\\
\vdots \\
x_n
\end{pmatrix}
\end{align}

单位向量(\(\boldsymbol{e}_i\)): 除了第\(i\)个元素之外其它元素均为0的向量.

零矩阵: 所有元素均为0

方阵: 行数\(m\)和列数\(n\)相等

对角矩阵(\(\text{diag}(a_{11}, a{22}, \cdots, a_{nn})\)): \(a_{ij} = 0, \text{ if } i \neq j\)

**单位矩阵(\(\boldsymbol{I}_n\)): 所有对角元素均为1的对角矩阵: \begin{align}\boldsymbol{I}_n = \text{diag}(1, 1, \cdots, 1)\end{align}

三对角矩阵(\(T\)): \(t_{ij} = 0, \text{ if } \left| i - j \right| > 1\)

上三角矩阵(\(U\)): \(u_{ij} = 0, \text { if } i > j\)

下三角矩阵(\(L\)): \(l_{ij} = 0, if \text { if } i < j\)

单位上三角矩阵: 所有元素均为1的上三角矩阵

单位下三角矩阵: 所有元素均为1的下三角矩阵

排列矩阵(\(P\)): 每行每列均只有一个元素为1, 其余为0

对称矩阵: \(A=A^T\)

---

矩阵加法: \begin{align}C = (c_{ij}) &= A + B \\ c_{ij} &= a_{ij} + b_{ij}\end{align}

标量倍数: \begin{align}\lambda A = (\lambda a_{ij})\end{align}

负: \begin{align}-A = -1 \cdot A\end{align}

矩阵减法: \begin{align}A - B = A + (-B)\end{align}

相容矩阵: 矩阵\(A\)相容于矩阵\(B\), 则有矩阵\(A\)的列数与矩阵\(B\)的行数相等

矩阵乘法:

\begin{align}
C_{M \times P} = (c_{ij}) &= A_{M \times N} \times B_{N \times P} \\
c_{ij} &= \sum_{k=1}^n a_{ik}b_{kj}
\end{align}

算术性质:

单位矩阵:

\begin{align}I_mA=AIn=A\end{align}

0:

\begin{align}A0 = 0A = 0\end{align}

结合律:

\begin{align}A(BC) = (AB)C\end{align}

分配律:

\begin{align}
A(B+C) = AB+AC \\
(B+C)D = BD+CD
\end{align}

不满足交换律

内积(向量):

\begin{align}\boldsymbol{x}^T \boldsymbol{y} = \sum_{i=1}^n x_i y_i\end{align}

外积(向量):

\begin{align}Z = (z_{ij}) &= \boldsymbol{x} \boldsymbol{y}^T \\ z_{ij} = x_i y_j\end{align}

欧几里得范式(向量):

\begin{align}|x| = \sqrt{\sum_{i=1}^n x_i^2} = \sqrt{x^T x}\end{align}

---

逆矩阵(\(A^{-1}\)): 满足\(AA^{-1} = \boldsymbol{I_n} = A^{-1}A\), 逆矩阵不一定存在

奇异(不可逆): 没有逆矩阵

非奇异(可逆): 与奇异相反, 若\(A\)和\(B\)均为非奇异矩阵, 则\begin{align}(BA)^{-1} = A^{-1}B\end{align}

逆操作与转置操作可以交换顺序: \begin{align}(A^{-1})T = (A^T)\end{align}

线性相关: 若存在不全为零的系数\(boldsymbol{c} = {c_1, c_2, \cdots, c_n}\), 使得\(\sum_{i=0}^n c_i x_i = 0\), 则称向量\(x_1, x_2, \cdots, x_n\)是线性相关的.

线性无关: 与线性相关相反, 没有这样一个向量

列秩: 矩阵的最大线性无关列集合的大小

行秩: 矩阵的最大线性无关行集合的大小

秩: 对于任意矩阵, 其行秩和列秩必相等, 简称秩

满秩: 秩等于其行数的方阵

列满秩: 秩等于其列数的矩阵

其非零\(m \times n\)的矩阵\(A\)的秩为\(r\), 则存在矩阵\(B_{m \times r}, C_{r \times n}\), 使得\(A = BC\)

当且仅当一个方阵是非奇异的时, 其是满秩的

空向量(\(x\)): \(Ax = 0\)

当且仅当矩阵不存在空向量时, 其是列满满秩的

当且仅当一个方阵存在空向量时, 其是奇异的

子矩阵: 一个方阵A的第\(i\)行\(j\)列的子矩阵为其本身删除第\(i\)行及第\(j\)列后得到的新的\((n-1)\times (n-1)\)矩阵\(A_{[ij]}\)

行列式:

\begin{align}
\det(A) = \begin{cases}
a_{11} & \text{ if } n=1 \\
\sum_{j = 1}^n (-1)^{1 + j} a_{ij} \det (A_{[1j]}) & \text{ if } n>1
\end{cases}
\end{align}

代数余子式: 方阵\(A\)的元素\(a_{ij}\)的代数余子式为\((-1)^{1+j}\det (A_{[ij]})\)

行列式性质:

• 如果矩阵A中某行或某列为0, 则\(\det (A) = 0\)
• 将矩阵A中的某行或某列每个元素乘以常数\(\lambda\)后得\(A'\), 则\(\det (A') = \lambda \det (A)\)
• 如果将矩阵A中某一行(某一列)的元素加到另一行(列)的元素上得\(A'\), 则\(\det (A') = \det (A)\)
• \(\det (A) = \det (A^T)\)
• 交换矩阵A的任意两行(列)得\(A'\), 则\(\det (A') = -\det (A)\)
• \(\det (AB) = \det (A) \det (B)\)

\(\det (A) = 0\ \leftrightharpoons \ A\)是奇异的

正定矩阵: 对于任意非零向量\(\boldsymbol{x}\), 若\(\boldsymbol{x}^T A \boldsymbol{x} > 0\)的矩阵. 单位矩阵是正定的.

对于任意列满秩的矩阵\(A\), 矩阵\(A^T A\)是正定的