4 - LU分解、转置与置换
A = LU 分解、A = LDU 分解、解 Ax = b、矩阵的转置、转置的应用：内积、对称矩阵、置换矩阵、带有行置换的 PA = LU
布布的线代笔记 4
1. A = LU 分解
将矩阵 \(A\) 分解为 \(2,~3\) 个特殊矩阵的乘积，以降低运算复杂度：
消元法有 \(EA = U\)（暂时不考虑置换），用 \(E^{-1}\) 可以将 \(U\) 还原为 \(A\)：
\[E^{-1}U=A
\]
定义分解因子 \(L = E^{-1}\)：
\[A = LU \\~\\ L：下三角矩阵~~~U：上三角矩阵
\]
二阶方阵：
\[\begin{aligned}
e.g.~~A =
\begin{bmatrix}
2 & 1 \\ 6 & 8
\end{bmatrix}~~~E_{21}A &=
\begin{bmatrix}
1 & 0 \\ -3 & 1
\end{bmatrix}
\begin{bmatrix}
2 & 1 \\ 6 & 8
\end{bmatrix} =
\begin{bmatrix}
2 & 1 \\ 0 & 5
\end{bmatrix}_{U} \\~\\
E_{21}^{-1}U &=
\begin{bmatrix}
1 & 0 \\ 3 & 1
\end{bmatrix}
\begin{bmatrix}
2 & 1 \\ 0 & 5
\end{bmatrix} =
\begin{bmatrix}
2 & 1 \\ 6 & 8
\end{bmatrix}_A
\end{aligned}
\]
三阶方阵：
\[E_{32} E_{31} E_{21} A = U \\~\\
A = E_{21}^{-1} E_{31}^{-1} E_{32}^{-1}U~~~L = E_{21}^{-1} E_{31}^{-1} E_{32}^{-1}
\]
\[e.g.~~A =
\begin{bmatrix}
2 & 1 & 0 \\ 1 & 2 & 1 \\ 0 & 1 & 2
\end{bmatrix}
\stackrel{R_2-\frac{1}{2}R_1}{\longrightarrow}
\begin{bmatrix}
2 & 1 & 0 \\ 0 & \cfrac{3}{2} & 1 \\ 0 & 1 & 2
\end{bmatrix}
\stackrel{R_3-\frac{2}{3}R_2}{\longrightarrow}
\begin{bmatrix}
2 & 1 & 0 \\ 0 & \cfrac{3}{2} & 1 \\ 0 & 0 & \cfrac{4}{3}
\end{bmatrix} = U \\~\\
将运算反过来填进去 \Rightarrow ~L =
\begin{bmatrix}
1 & 0 & 0 \\ \cfrac{1}{2} & 1 & 0 \\ 0 & \cfrac{2}{3} & 1
\end{bmatrix}
\]
\[\begin{aligned}
e.g.~~A = &
\begin{bmatrix}
1 & 0 & 2 \\ 3 & 2 & 6 \\ 2 & 2 & 1
\end{bmatrix}
\to ~U =
\begin{bmatrix}
1 & 0 & 2 \\ 0 & 2 & 0 \\ 0 & 0 & -3
\end{bmatrix}
\Rightarrow
~L =
\begin{bmatrix}
1 & 0 & 0 \\ 3 & 1 & 0 \\ 2 & 1 & 1
\end{bmatrix}
\\~\\
&R_2-3R_1 \\
&R_3-2R_1 \to
\begin{bmatrix}
~0 & 2 & -3~
\end{bmatrix}
\\
&R_3-R_2
\end{aligned}
\]
为什么可以之间将消元的系数填入对应的位置？
回想消元法的过程，消到第 \(i\) 行的时候，前 \(i-1\) 行已经消成上三角矩阵里的样子，这时候从第 \(i\) 行减去消好的行，减去的是 \(U\) 里的元素，而不是 \(A\) 里的，我们将消元系数填入 \(L\)（用下角标 \(Ri\) 表示第 \(i\) 行）：
\[i.e.~~ U_{R3} = A_{R3}-l_{31}U_{R1}-l_{32}U_{R2} ~\Rightarrow ~ A_{R3} = l_{31}U_{R1}+l_{32}U_{R2} + U_{R3} \\
L_{R3} = [~l_{31}~~l_{32}~~1~]
\]
复原的时候第 \(i\) 行可以直接加上 \(U\) 里的前 \(i-1\) 行的元素，也就是直接对 \(U\) 操作：
\[i.e.~~A_{R3} = L_{R3} U ~\Rightarrow~ A_{Ri} = (LU)_{Ri} = L_{Ri}U
\]
\(e.g.~~\)用 \(A=LU\) 分解表示四阶帕斯卡矩阵（由杨辉三角组成左上三角）
\[\begin{aligned}
pascal(4) = \begin{bmatrix}
1 & 1 & 1 & 1\\ 1 & 2 & 3 & 4 \\ 1 & 3 & 6 & 10 \\ 1 & 4 & 10 & 20
\end{bmatrix}
\stackrel{l_{21}=1,~l_{31}=1,~l_{41}=1}{\longrightarrow} &
\begin{bmatrix}
1 & 1 & 1 & 1\\ 0 & 1 & 2 & 3 \\ 0 & 2 & 5 & 9 \\ 0 & 3 & 9 & 19
\end{bmatrix} \\~\\
\stackrel{l_{32}=2,~l_{42}=3}{\longrightarrow}
\begin{bmatrix}
1 & 1 & 1 & 1\\ 0 & 1 & 2 & 3 \\ 0 & 0 & 1 & 3 \\ 0 & 0 & 3 & 10
\end{bmatrix}
\stackrel{l_{43}=3}{\longrightarrow} ~U = &
\begin{bmatrix}
1 & 1 & 1 & 1\\ 0 & 1 & 2 & 3 \\ 0 & 0 & 1 & 3 \\ 0 & 0 & 0 & 1
\end{bmatrix} \\~\\
L =
\begin{bmatrix}
1 & 0 & 0 & 0\\ 1 & 1 & 0 & 0 \\ 1 & 2 & 1 & 0 \\ 1 & 3 & 3 & 1
\end{bmatrix}~~~~~pascal(4)= &~~LU
\end{aligned}
\]
2. A= LDU 分解
\(A = LU\) 中 \(L\) 是对角元为 \(1\) 的下三角矩阵，\(U\) 是上三角矩阵，但对角元不是 \(1\)
因为「优妮前辈」想要更平衡的写法，所以将 \(U\) 继续分解（优衣＝D 优妮）
\[U_1 = DU_2 \\
\begin{bmatrix}
u_{11} & u_{12} & ... & ... \\ & u_{22} & ... & ... \\ & & ... & ... \\ & & & u_{nn}
\end{bmatrix}_{U_{1}} =
\begin{bmatrix}
u_{11} & & & \\ & u_{22} & & \\ & & ... & \\ & & & u_{nn}
\end{bmatrix}_D
\begin{bmatrix}
1 & \cfrac{u_{12}}{u_{11}} & ... & ... \\ & 1 & \cfrac{u_{23}}{u_{22}} & ... \\ & & 1 & ... \\ & & & 1
\end{bmatrix}_{U_{1}}
\]
\[e.g.~~
\begin{bmatrix}
2 & 1 \\ 6 & 8
\end{bmatrix}_{A} =
\begin{bmatrix}
1 & 0 \\ 3 & 1
\end{bmatrix}_{L}
\begin{bmatrix}
2 & 1 \\ 0 & 5
\end{bmatrix}_{U_{1}} =
\begin{bmatrix}
1 & 0 \\ 3 & 1
\end{bmatrix}_L
\begin{bmatrix}
2 & 0 \\ 0 & 5
\end{bmatrix}_{D}
\begin{bmatrix}
1 & \cfrac{1}{2} \\ 0 & 1
\end{bmatrix}_{U_{2}}
\]
3. 解 Ax = b
\[A \boldsymbol x=\boldsymbol b ~\Leftrightarrow~ LU \boldsymbol x = \boldsymbol b \\~\\
令 ~~~ U \boldsymbol x = \boldsymbol c~，~~先解~~L \boldsymbol c = \boldsymbol b ~~再解 ~~ U \boldsymbol x = \boldsymbol c
\]
\[e.g.~~A = \begin{bmatrix}
1 & 2\\ 4 & 9
\end{bmatrix} =
\begin{bmatrix}
1 & 0\\ 4 & 1
\end{bmatrix}_L
\begin{bmatrix}
1 & 2\\ 0 & 1
\end{bmatrix}_U
,~~ \boldsymbol b =
\begin{bmatrix}
~5 ~\\ 21
\end{bmatrix}~, ~求解~A \boldsymbol x=\boldsymbol b \\~\\
L \boldsymbol c = \boldsymbol b:~~
\begin{bmatrix}
1 & 0\\ 4 & 1
\end{bmatrix} \boldsymbol c =
\begin{bmatrix}
~5 ~\\ 21
\end{bmatrix} ~\Rightarrow~
\boldsymbol c =
\begin{bmatrix}
~5~ \\ ~1~
\end{bmatrix} \\~\\
U \boldsymbol x = \boldsymbol c:~~
\begin{bmatrix}
1 & 2\\ 0 & 1
\end{bmatrix} \boldsymbol x =
\begin{bmatrix}
~5 ~\\ ~1~
\end{bmatrix} ~\Rightarrow~
\boldsymbol x =
\begin{bmatrix}
~3~ \\ ~1~
\end{bmatrix}
\]
\[e.g.~~L = \begin{bmatrix}
1 & 0\\ 4 & 1
\end{bmatrix},~~
U = \begin{bmatrix}
2 & 4\\ 0 & 1
\end{bmatrix},~~
\boldsymbol b =
\begin{bmatrix}
~2 ~\\ 11
\end{bmatrix}~, ~求解~LU \boldsymbol x=\boldsymbol b~并验证 \\~\\
L \boldsymbol c = \boldsymbol b:~~
\begin{bmatrix}
1 & 0\\ 4 & 1
\end{bmatrix} \boldsymbol c =
\begin{bmatrix}
~2 ~\\ 11
\end{bmatrix} ~\Rightarrow~
\boldsymbol c =
\begin{bmatrix}
~2~ \\ ~3~
\end{bmatrix} \\~\\
U \boldsymbol x = \boldsymbol c:~~
\begin{bmatrix}
2 & 4\\ 0 & 1
\end{bmatrix} \boldsymbol x =
\begin{bmatrix}
~2 ~\\ ~3~
\end{bmatrix} ~\Rightarrow~
\boldsymbol x =
\begin{bmatrix}
-5 \\ ~3~
\end{bmatrix} \\~\\
A = LU =
\begin{bmatrix}
2 & 4\\ 8 & 17
\end{bmatrix}~~~
A \boldsymbol x =
\begin{bmatrix}
2 & 4\\ 8 & 17
\end{bmatrix}
\begin{bmatrix}
-5 \\ ~3~
\end{bmatrix} =
\begin{bmatrix}
~2~ \\ 11
\end{bmatrix} = \boldsymbol b
\]
\[e.g.~~L =
\begin{bmatrix}
1 & 0 & 0\\ 1 & 1 & 0 \\ 1 & 1 & 1
\end{bmatrix},~~
U =
\begin{bmatrix}
1 & 1 & 1\\ 0 & 1 & 1 \\ 0 & 0 & 1
\end{bmatrix},~~
\boldsymbol b =
\begin{bmatrix}
4\\ 5\\ 6
\end{bmatrix} , ~求解~LU \boldsymbol x=\boldsymbol b\\~\\
L\boldsymbol c = \boldsymbol b :~~
\begin{bmatrix}
1 & 0 & 0\\ 1 & 1 & 0 \\ 1 & 1 & 1
\end{bmatrix} \boldsymbol c =
\begin{bmatrix}
4\\ 5 \\ 6
\end{bmatrix}
,~~ \boldsymbol c =
\begin{bmatrix}
4\\ 1 \\ 1
\end{bmatrix} \\~\\
U \boldsymbol x = \boldsymbol c:~~
\begin{bmatrix}
1 & 1 & 1\\ 0 & 1 & 1 \\ 0 & 0 & 1
\end{bmatrix} \boldsymbol x =
\begin{bmatrix}
4 \\ 1 \\ 1
\end{bmatrix},~~
\boldsymbol x =
\begin{bmatrix}
3 \\ 0 \\ 1
\end{bmatrix}
\]
时间复杂度分析（直播弹幕勘误）
在两次的求解中，我们遇到的都是三角矩阵，因此运用代入法可以快速地求解
在进行 \(A=LU\) 分解时，仍要用到高斯消元，对 \(A\) 高斯消元的时间复杂度为 \(\cfrac{1}{3}n^3\)
而求解三角矩阵的时间复杂度为 \(n^2\)，因此这个方法更适合对多个 \(b\) 求解：
\[i.e.~~在求得~L~和~U~的情况下，后续求解时间复杂度从~O(n^3)~降低至~O(n^2)
\]
对于带状矩阵（除主对角线外还有 \(w\) 个非零对角线），则可大大降低时间复杂度：
\[i.e.~~A~to~U:~nw^2~,~~~Solve: ~2nw~
\]
4. 矩阵的转置
将矩阵的行与列互换，得到矩阵 \(A\) 的转置，记为 \(A^T\)
\(m\times n\) 矩阵的转置是 \(n\times m\) 矩阵
沿对角线翻转：
\[e.g.~~A_{2 \times 3}=
\begin{bmatrix}
1 & 2 & 3\\ 0 & 0 & 4
\end{bmatrix} ~\Rightarrow~
A^T =
\begin{bmatrix}
1 & 0 \\ 2 & 0 \\ 3 & 4
\end{bmatrix}
\]
矩阵转置的性质：
\[\begin{aligned}
1.~~&(A^T)^T = A \\
2.~~&(A + B)^T = A^T + B^T\\
3.~~&(AB)^T = B^T A^T,~~(ABC)^T = C^T B^T A^T\\
4.~~&(A^{-1})^T = (A^T)^{-1}
\end{aligned}
\]
\[proof~of~3:~~设~A_{m \times n} = [~\boldsymbol {a_1},...,\boldsymbol {a_n}~],~~B_{n \times p} = [~\boldsymbol {b_1},...,\boldsymbol {b_p}~] \\~\\
左式~= (AB)^T = [~A\boldsymbol {b_1},....A\boldsymbol {b_p}~] =
\begin{bmatrix}
~(A \boldsymbol {b_1})^T~ \\ \vdots \\ ~(A \boldsymbol {b_p})^T
\end{bmatrix} \\~\\
左式~= B^TA^T=
\begin{bmatrix}
~(\boldsymbol {b_1})^T~ \\ \vdots \\ ~(\boldsymbol {b_p})^T
\end{bmatrix} A^T =
\begin{bmatrix}
~\boldsymbol{b_1}^TA^T~ \\ \vdots \\ ~\boldsymbol{b_p}^TA^T~
\end{bmatrix} \\~\\
左式=右式~\Leftrightarrow~(A \boldsymbol {b_j})^T = \boldsymbol {b_j}^T A^T ~~下证：(A \boldsymbol {b_j})^T = \boldsymbol {b_j}^T A^T \\~\\
\begin{aligned}
\left( A
\begin{bmatrix}
~b_{1j}~ \\ \vdots \\ ~b_{nj}~
\end{bmatrix}
\right)^T &= [~b_{1j}\boldsymbol {a_1}+...+b_{nj}\boldsymbol {a_n}~]^T =
b_{1j}\boldsymbol {a_1}^T + ... + b_{nj}\boldsymbol {a_n}^T \\
& =[~b_{1j}~~...~~b_{nj}~]
\begin{bmatrix}
~(\boldsymbol {a_1})^T~ \\ \vdots \\ ~(\boldsymbol {a_n})^T
\end{bmatrix}
= \boldsymbol {b_j}^TA^T
\end{aligned}
\]
\[\begin{aligned}
proof~of~4:~~A^T(A^{-1})^T&=(A^{-1}A)^T=I^T=I \\
(A^{-1})^TA^T &= (AA^{-1})^T=I^T=I
\end{aligned}
\]
\[A~有逆~\Leftrightarrow~A^T~有逆
\]
\[A=LDU~\Rightarrow~A^T=U^TD^TL^T,~~~D=D^T
\]
5. 转置的应用：内积
\[\begin{aligned}
^T~is~inside&:~~\boldsymbol x\cdot\boldsymbol y=\boldsymbol x^T \boldsymbol y = \boldsymbol y^T \boldsymbol x ~~~~
(1\times n)(n \times 1)\\
^T~is~outside&:~~
\boldsymbol x \times \boldsymbol y = \boldsymbol x \boldsymbol y^T
~~~~(n\times 1)(1 \times n)
\end{aligned}
\]
\(A^T\) 是 \(A\) 的行与列互换（沿对角线翻转）
\(A^T\) 是取任意 \(x,y\)，能使下列两个内积相等的矩阵：
\[(A \boldsymbol x)^T \boldsymbol y = \boldsymbol x^T(A^T \boldsymbol y)
\]
\[e.g.~~A =
\begin{bmatrix}
-1 & 1 & 0\\ 0 & -1 & 1
\end{bmatrix},~~
\boldsymbol x =
\begin{bmatrix}
~x_1~\\ ~x_2~ \\ ~x_3~
\end{bmatrix},~~
\boldsymbol y =
\begin{bmatrix}
~y_1~\\ ~y_2~
\end{bmatrix} \\~\\
\begin{aligned}
A \boldsymbol x =
\begin{bmatrix}
~x_1 + x_2~\\ ~x_2 + x_3
\end{bmatrix}~~~
(A \boldsymbol x)^T &= y_1(-x_1+x_2)+y_2(-x_2+x_3)
\\ &=x_1(-y_1)+x_2(y_1-y_2)+x_3y_2
\\~\\
A^T = \begin{bmatrix}
-1 & 0\\ 1 & -1 \\ 0 & 1
\end{bmatrix}
~\Rightarrow ~A^T\boldsymbol y &=
\begin{bmatrix}
~-y_1~\\ ~y_1-y_2~ \\ ~y_2~
\end{bmatrix}
~\Rightarrow ~
(A \boldsymbol x)^T \boldsymbol y = \boldsymbol x^T(A^T \boldsymbol y)
\end{aligned}
\]
6. 对称矩阵
对称矩阵的定义：若 $ S^T = S$，则 \(S\) 是一个对称矩阵
\[e.g.~~S =
\begin{bmatrix}
1 & 2 \\ 2 & 5
\end{bmatrix}~~~~
D =
\begin{bmatrix}
1 & 0\\ 0 & 2
\end{bmatrix}
\]
对称矩阵的逆矩阵也是对称矩阵：
\[e.g.~~S^{-1}=
\begin{bmatrix}
5 & -2\\ -2 & 1
\end{bmatrix}~~~~
D^{-1} =
\begin{bmatrix}
1 & 0\\ 0 & \cfrac{1}{2}
\end{bmatrix}
\]
\[proof:~~(S^{-1})^T = (S^T)^{-1}=S^{-1} ~\Rightarrow~ S^{-1}~也对称
\]
对称矩阵的性质：
\[取任意 ~m\times n~ 矩阵 ~A~，则 ~A^T A~ 是 ~n \times n~ 对称矩阵，~AA^T~ 是 ~m \times m~ 对称矩阵
\]
\[proof:~~(A^TA)^T=A^T(A^T)^T=A^TA
\]
\[e.g.~~
A = \begin{bmatrix}
-1 & 1 & 0~\\ 0 & -1 & 1~
\end{bmatrix}~~~计算~A^TA,~AA^T \\~\\
A^TA =
\begin{bmatrix}
-1 & 0\\ 1 & -1 \\ 0 & 1
\end{bmatrix}
\begin{bmatrix}
-1 & 1 & 0~\\ 0 & -1 & 1~
\end{bmatrix} =
\begin{bmatrix}
1 & -1 & 0\\ -1 & 2 & -1 \\ 0 & -1 & 1
\end{bmatrix} ~~~
AA^T =
\begin{bmatrix}
2 & -1 \\ -1 & 2
\end{bmatrix}
\]
可以注意到，\(A^TA,~AA^T\) 的对角元都是非负数：
\[(A^TA)_{ii}=\sum\limits^m_{k=1}a_{ik}^2 \geq 0
\]
若 \(S\) 是对称矩阵，且在消元过程中不需要进行「行的置换」：
\[S=LDU =(LDU)^T=U^TD^TL^T=U^TDL^T \\~\\
\Rightarrow~ L = U^T ~\Rightarrow~ U = L^T \\~\\
将对称矩阵~S~表示~S=LDL^T
\]
\[proof:~~S^T=(LDL^T)^T=(L^T)^TD^TL^T=LDL^T=S
\]
\[\begin{aligned}
e.g.~~S =&
\begin{bmatrix}
1 & 4 & 5 \\ 4 & 2 & 6 \\ 5 & 6 & 3
\end{bmatrix} \to
\begin{bmatrix}
1 & 4 & 5 \\ 0 & -14 & -14 \\ 0 & -14 & -22
\end{bmatrix} \to
\begin{bmatrix}
1 & 4 & 5 \\ 0 & -14 & -14 \\ 0 & 0 & -8
\end{bmatrix}_U \\~\\&
\begin{bmatrix}
1 & 0 & 0\\ 4 & 1 & 0 \\ 5 & 1 & 1
\end{bmatrix}_L
\begin{bmatrix}
1 & 0 & 0\\ 0 & -14 & 0 \\ 0 & 0 & -8
\end{bmatrix}_D
\begin{bmatrix}
1 & 4 & 5 \\ 0 & -14 & -14 \\ 0 & 0 & -8
\end{bmatrix}_{L^T} = S
\end{aligned}
\]
\[e.g.~~S =
\begin{bmatrix}
2 & -1 & 0 \\ -1 & 2 & -1 \\ 0 & -1 & 0
\end{bmatrix} \to
\begin{bmatrix}
2 & -1 & 0 \\ 0 & \cfrac{3}{2} & -1 \\ 0 & -1 & 0
\end{bmatrix} \to
\begin{bmatrix}
2 & -1 & 0 \\ 0 & \cfrac{3}{2} & -1 \\ 0 & 0 & -\cfrac{2}{3}
\end{bmatrix} \\~\\
先计算~D~和~U~(i.e.~L^T)，然后直接转置~L^T~填入~L
\\~\\
S = LDL^T = \begin{bmatrix}
1 & 0 & 0\\ -\cfrac{1}{2} & 1 & 0 \\ 0 & -\cfrac{2}{3} & 1
\end{bmatrix}_L
\begin{bmatrix}
2 & 0 & 0\\ 0 & \cfrac{3}{2} & 0 \\ 0 & 0 & -\cfrac{2}{3}
\end{bmatrix}_D
\begin{bmatrix}
1 & -\cfrac{1}{2} & 0 \\ 0 & 1 & -\cfrac{2}{3} \\ 0 & 0 & 1
\end{bmatrix}_{L^T}
\]
7. 置换矩阵
置换矩阵的定义：置换矩阵 \(P\) 是将单位矩阵 $ I $ 的行以任何形式重排后得到的矩阵
\(3 \times 3\) 的置换矩阵有 6 种：
\[I =
\begin{bmatrix}
1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1
\end{bmatrix}~~~
P_{21} =
\begin{bmatrix}
0 & 1 & 0 \\ 1 & 0 & 0 \\ 0 & 0 & 1
\end{bmatrix}~~~
P_{31} =
\begin{bmatrix}
0 & 0 & 1 \\ 0 & 1 & 0 \\ 1 & 0 & 0
\end{bmatrix}~~~
P_{32} =
\begin{bmatrix}
1 & 0 & 0 \\ 0 & 0 & 1 \\ 0 & 1 & 0
\end{bmatrix} \\~\\
P_{32}P_{21} =
\begin{bmatrix}
0 & 1 & 0 \\ 0 & 0 & 1 \\ 1 & 0 & 0
\end{bmatrix}~~~
P_{21}P_{32} =
\begin{bmatrix}
0 & 0 & 1 \\ 1 & 0 & 0 \\ 0 & 1 & 0
\end{bmatrix}
\]
前四个 \(I,~P_{21},~P_{31},~P_{32}\) 的转置为自己，后两个 \(P_{32}P_{21},~P_{21}P_{32}\) 互为转置
\(m \times n\) 的置换矩阵有 \(n!\) 种
置换矩阵的性质：
\[P^{-1}~ 也是置换矩阵，且有 ~P^{-1} = P^T \\~\\
PP^T=I
\]
8. 带有行置换的 PA = LU
\[A = (E_{21}^{-1}...E_{ij}^{-1}...)_LU ~~~~~~~ A = (E^{-1}...P^{-1}...E^{-1}...P^{-1}...)U
\]
进行置换的时机：
（1）先置换好 \(A\)，\(PA\) 就不需要行置换： \(PA = LU\) （常用）
（2）先消元，也可以消成 \(n\) 个主元，再置换成上三角矩阵 \(A= L_1 P_1U_1\)
\[\begin{aligned}
e.g.~~&
\begin{bmatrix}
0 & 1 & 1 \\ 1 & 2 & 1 \\ 2 & 7 & 9
\end{bmatrix}_A \to
\begin{bmatrix}
1 & 2 & 1 \\ 0 & 1 & 1 \\ 2 & 7 & 9
\end{bmatrix}_{PA}
\stackrel{l_{31}=2}{\longrightarrow}
\begin{bmatrix}
1 & 2 & 1 \\ 0 & 1 & 1 \\ 0 & 3 & 7
\end{bmatrix}
\stackrel{l_{32}=3}{\longrightarrow}
\begin{bmatrix}
1 & 2 & 1 \\ 0 & 1 & 1 \\ 0 & 0 & 4
\end{bmatrix}_U \\~\\
P =&
\begin{bmatrix}
0 & 1 & 0 \\ 1 & 0 & 0 \\ 0 & 0 & 1
\end{bmatrix}~~~~
L =
\begin{bmatrix}
1 & 0 & 0 \\ 0 & 1 & 0 \\ 2 & 3 & 1
\end{bmatrix}~~~~
U =
\begin{bmatrix}
1 & 2 & 1 \\ 0 & 1 & 1 \\ 0 & 0 & 4
\end{bmatrix}~~~~
PA = LU
\end{aligned}
\]
定理：
\[若矩阵 ~A~ 可逆，则一定存在置换矩阵 ~P~，使得 ~PA = LU~
\]
\[proof:（数学归纳法）~~n = 1~时定理显然成立，假设~n = k~时定理成立 \\~\\
n = k + 1~时，A~可逆,~a_{i1}\neq0,~A'=P_{i1}A\\~\\
对~A'~消元得~A''=
\begin{bmatrix}
a_{i1} & * \\ 0 & A_1
\end{bmatrix}，且~A'=
\begin{bmatrix}
1 & 0 \\ t & I
\end{bmatrix}A'' \\~\\
A_1~为~n-1~(i.e.~k)~阶可逆矩阵，故存在~P_1~使得~P_1A_1=L_1U_1,~A_1 = P_1^{-1}L_1U_1\\~\\
\begin{aligned}
P_{i1}A = A' =
\begin{bmatrix}
1 & 0 \\ t & I
\end{bmatrix}
\begin{bmatrix}
a_{i1} & * \\ 0 & A_1
\end{bmatrix} =&
\begin{bmatrix}
1 & 0 \\ t & I
\end{bmatrix}
\begin{bmatrix}
1 & \\ & P_1^{-1}
\end{bmatrix}
\begin{bmatrix}
1 & \\ & L_1
\end{bmatrix}
\begin{bmatrix}
a_{i1} & * \\ 0 & U_1
\end{bmatrix} \\~\\
=&
\begin{bmatrix}
1 & \\ & P_1^{-1}
\end{bmatrix}
\begin{bmatrix}
1 & 0 \\ P_1t & I
\end{bmatrix}
\begin{bmatrix}
1 & \\ & L_1
\end{bmatrix}
\begin{bmatrix}
a_{i1} & * \\ 0 & U_1
\end{bmatrix} \\~\\
\begin{bmatrix}
1 & \\ & P_1
\end{bmatrix}P_{i1}A =&
\begin{bmatrix}
1 & 0 \\ P_1t & L_1
\end{bmatrix}_L
\begin{bmatrix}
a_{i1} & * \\ 0 & U_1
\end{bmatrix}_U = LU \\~\\
令~P=\begin{bmatrix}
1 & \\ & P_1
\end{bmatrix} &P_{i1}~\Rightarrow~PA = LU
\end{aligned}
\]
\[e.g.~~用~PA=LU~表示~A =
\begin{bmatrix}
1 & 2 & 0 \\ 2 & 4 & 1 \\ 1 & 1 & 1
\end{bmatrix} \\~\\
\begin{bmatrix}
1 & 2 & 0 \\ 2 & 4 & 1 \\ 1 & 1 & 1
\end{bmatrix}_A
\stackrel{l_{21}=2}{\longrightarrow}
\begin{bmatrix}
1 & 2 & 0 \\ 0 & 0 & 1 \\ 1 & 1 & 1
\end{bmatrix}
\stackrel{l_{31}=1}{\longrightarrow}
\begin{bmatrix}
1 & 2 & 0 \\ 0 & 0 & 1 \\ 0 & -1 & 1
\end{bmatrix}
\stackrel{P_{23}}{\longrightarrow}
\begin{bmatrix}
1 & 2 & 0 \\ 0 & -1 & 1 \\ 0 & 0 & 1
\end{bmatrix}_U \\~\\
\begin{aligned}
P_{23}E_{31(-1)}E_{21(-2)}A=U ~\Rightarrow~ A=&\left(P_{23}E_{31(-1)}E_{21(-2)}\right)^{-1}U = E_{21(-2)}^{-1}E_{31(-1)}^{-1}P_{23}U\\
\end{aligned}
\\~\\
P_{23}=
\begin{bmatrix}
1 & 0 & 0 \\ 0 & 0 & 1 \\ 0 & 1 & 0
\end{bmatrix}~\Rightarrow~
E_{21(-2)}^{-1}E_{31(-1)}^{-1}P_{23} =
\begin{bmatrix}
1 & 0 & 0 \\ 2 & 0 & 1 \\ 1 & 1 & 0
\end{bmatrix}_{PL} \\~\\
~L~应当是下三角矩阵:~L = P_{23}\cdot上式 \\~\\
A = PLU =
\begin{bmatrix}
1 & 0 & 0 \\ 0 & 0 & 1 \\ 0 & 1 & 0
\end{bmatrix}_{P_{23}}
\begin{bmatrix}
1 & 0 & 0 \\ 1 & 1 & 0 \\ 2 & 0 & 1
\end{bmatrix}_L U \\~\\
P_{23}P_{23} = I ~\Rightarrow~P_{23}A = P_{23}P_{23}LU = LU \\~\\
\begin{bmatrix}
1 & 0 & 0 \\ 0 & 0 & 1 \\ 0 & 1 & 0
\end{bmatrix}_P
\begin{bmatrix}
1 & 2 & 0 \\ 2 & 4 & 1 \\ 1 & 1 & 1
\end{bmatrix}_A =
\begin{bmatrix}
1 & 0 & 0 \\ 1 & 1 & 0 \\ 2 & 0 & 1
\end{bmatrix}_L
\begin{bmatrix}
1 & 2 & 0 \\ 0 & -1 & 1 \\ 0 & 0 & 1
\end{bmatrix}_U
\]
\[注意：最后乘的 ~P~ 可能是逆矩阵，且不是本身
\]
浙公网安备 33010602011771号