线性方程组与矩阵基础

矩阵基础

矩阵乘法

对 \(x\) 行 \(m\) 列矩阵 \(A\) 和 \(m\) 行 \(y\) 列矩阵 \(B\)，记 \(C=A\times B\)。

\[c_{i, j}=\sum_{k=1}^m a_{i,k}\times b_{k, j} \]

矩阵乘法满足

1. 结合律 \((A\times B) \times C=A\times (B\times C)\)。
2. 分配律 \(A\times(B+C)=A\times B + A\times C\)。

矩阵乘法一般不满足交换律。

矩阵乘法的看待视角与解线性方程组的联系

分块矩阵乘法

将相乘的原矩阵分块，保证分块矩阵可乘且分块矩阵对应元素可乘，则分块矩阵相乘得到的矩阵与原矩阵相乘相等。

特殊的分块方法

对于 \(A\times B=C\)。

记 \(A=[A_1,A_2,\cdots,A_n],C=[C_1,C_2,\cdots, C_n]\)。称为对矩阵的列分块。

考察

\[C_i=\sum_{j}A_jB_{j,i} \]

即 \(C_i\) 是 \(A\) 的线性组合。即 \(C\) 的每一列是 \(A\) 的列的线性组合。

同理，\(C\) 的每一行是 \(B\) 的行的线性组合。

即，矩阵 \(A\) 左乘矩阵 \(M\) 是对 \(A\) 进行行变换，右乘矩阵 \(M\) 是对 \(A\) 进行列变换。

---

线性方程组都可以写成矩阵形式 \(Ax=b\)。

高斯消元中我们需要的操作有：

1. 将一行加上另一行的 \(c(c \neq 0)\) 倍。
2. 交换两行。
3. 将一行系数乘以 \(c(c \neq 0)\)。

这样的操作叫做基本行变换。基本行变换显然可以用左乘矩阵的形式表达。这样的矩阵被称作初等矩阵 (Elementary Matrices)。

高斯消元的过程可以抽象为对增广矩阵不断进行初等行变换。

\[[A|b]\to [I|b'] \]

\(b'\) 即解。

矩阵的 LU、LDU 分解

三角阵

对方阵 \(A(n\times n)\)

上三角阵：满足 \(a_{i, j}=0 (i>j)\)

下三角阵：满足 \(a_{i, j}=0 (i<j)\)

单位上（下）三角阵：\(a_{i, i}=1\) 的上（下）三角阵

性质：

（单位）上（下）三角阵乘以（单位）上（下）三角阵还是上（下）三角阵。

（单位）上（下）三角阵的逆还是（单位）上（下）三角阵。

高斯消元构造分解

不考虑行交换的情况，原矩阵 \(A\) 通过高斯消元（初等行变换）变成上三角矩阵的过程即

\[E_kE_{k-1}\cdots E_{1}A=U \]

其中 \(E_i\) 为单位下三角阵，\(U\) 为上三角阵。

则有

\[A=E_1^{-1}\cdots E_{k-1}^{-1}E_{k}^{-1}U \]

记

\[L=E_1^{-1}\cdots E_{k-1}^{-1}E_{k}^{-1} \]

有 \(L\) 为单位下三角阵。则

\[A=LU \]

令 \(U=DU'\)，其中 \(D\) 为单位矩阵，\(U'\) 为单位上三角矩阵，则 \(A=LDU'\) 称为 \(A\) 的 LDU 分解。

矩阵 LU 分解在解线性方程组中的作用

\(Ax=b\) 可以写成 \(LUx=b\)

设 \(Ux=y\)，原方程可以改写为：

\[\begin{cases} Ux=y \\ Ly=b \end{cases} \]

两方程都容易回代求解。

置换矩阵 (permutation matrix)

\(A(n\times n)\) 满足每行每列只有一个 \(1\)。

\(Ax\) 可以表示一个 \(x\) 的排列 \(P(x)\)。

观察到高斯消元的行交换过程可以全部预先完成，故通用的 LU 分解可以写成

\[PA=LU \]

特殊方程组的解法

分块对角矩阵

\[\begin{bmatrix} A_{11} & 0 \\ 0 & A_{22} \end{bmatrix} \times x = b \]

即

\[\begin{bmatrix} A_{11} & 0 \\ 0 & A_{22} \end{bmatrix} \times \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = \begin{bmatrix} b_1 \\ b_2 \end{bmatrix} \]

即

\[\begin{cases} A_{11}x_1=b_1 \\ A_{22}x_2=b_2 \end{cases} \]

待补充

逆与转置

方阵的逆矩阵 (Inverse Matrix)

对于矩阵 \(A\)，若 \(BA=I\)，称 \(B\) 为 \(A\) 的右逆。若 \(AC=I\)，称 \(C\) 为 \(A\) 的左逆。

\[BAC=(BA)C=IC=C \\ BAC=B(AC)=BI=B \]

故 \(B=C\)。

故若方阵存在逆，则既为左逆又为右逆，且该逆唯一。

求逆的方法

高斯-约旦方法，通过初等行变换完成：

\[[A|I]\to [I|A^{-1}] \]

结论

二阶矩阵

\[\begin{bmatrix} a & b \\ c & d \end{bmatrix}^{-1} = \frac{1}{ad-bc} \begin{bmatrix} d & -b \\ -c & a \end{bmatrix} \]

转置

\[A^T_{i,j}=A_{j,i} \]

转置的性质

\[\begin{align*} (A^T)^T &=A \\ (\alpha A)^T &=\alpha A^T \\ (A+B)^T &=A^T+B^T \\ (AB)^T &=B^TA^T \\ (A^T)^{-1} &=(A^{-1})^T \end{align*} \]

通过逆证明 LU 分解的唯一性

\[\begin{align*} L_1U_1 &=L_2U_2 \\ {L_2}^{-1}L_1 &=U_2{U_1}^{-1} \end{align*} \]

其中 \({L_2}^{-1}L_1\) 为单位下三角阵，\(U_2{U_1}^{-1}\) 为上三角阵。

故

\[{L_2}^{-1}L_1=U_2{U_1}^{-1}=I \]