【深度学习数学基础：线性代数】5. 矩阵分解：5.2 LU分解

5. 矩阵分解

5.2 LU分解

设有任意矩阵 \(\boldsymbol{A}_{m \times n}\) 且 \(m \geq n\)（若 \(m < n\) 可研究 \(\boldsymbol{A}^\mathrm{T}\)），则在满足一定条件后 \(\boldsymbol{A}\) 可分解成 \(\boldsymbol{L}, \boldsymbol{U}\) 的乘积，其中 \(\boldsymbol{L}\) 为 \(\boldsymbol{m \times m}\) 型 单位下三角阵，\(\boldsymbol{U}\) 为 \(\boldsymbol{m \times n}\) 型 上三角阵

矩阵分解形式

\[\boldsymbol{A}_{m \times n} = \boldsymbol{L}_{m \times m} \boldsymbol{U}_{m \times n}, \quad \boldsymbol{L} = \begin{pmatrix} 1 & 0 & \dots & 0 \\ l_{21} & 1 & \dots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ l_{m1} & l_{m2} & \dots & 1 \end{pmatrix}, \quad \boldsymbol{U} = \begin{pmatrix} u_{11} & u_{12} & \dots & u_{1n} \\ 0 & u_{21} & \dots & u_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \dots & u_{mn} \end{pmatrix} \]

列满秩时的唯一性条件

若 \(\boldsymbol{A}\) 是 列满秩 的，其 LU分解 存在且唯一的条件是：\(\boldsymbol{A}\) 的 各阶顺序主子矩阵 非奇异

方阵的特殊情况

当 \(\boldsymbol{A}\) 为 方阵 时是LU分解的特殊情况，下面我们主要讨论当 \(\boldsymbol{A}\) 为方阵时LU分解的存在性和唯一性。

各阶顺序主子矩阵的定义

对于 \(n\) 阶方阵 \(\boldsymbol{A} = (a_{ij})_{n \times n}\)，其 \(k\) 阶顺序主子矩阵 是指由 \(\boldsymbol{A}\) 的前 \(k\) 行和前 \(k\) 列交叉位置的元素构成的 \(k\) 阶子矩阵，记为 \(\boldsymbol{A}_k\)：

\[\boldsymbol{A}_k = \begin{pmatrix} a_{11} & a_{12} & \dots & a_{1k} \\ a_{21} & a_{22} & \dots & a_{2k} \\ \vdots & \vdots & \ddots & \vdots \\ a_{k1} & a_{k2} & \dots & a_{kk} \end{pmatrix} \quad (k = 1, 2, \dots, n) \]

例如，对于3阶方阵 \(\boldsymbol{A} = \begin{pmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{pmatrix}\)，其各阶顺序主子矩阵为：

• 1阶：\(\boldsymbol{A}_1 = (a_{11})\)
• 2阶：\(\boldsymbol{A}_2 = \begin{pmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{pmatrix}\)
• 3阶：\(\boldsymbol{A}_3 = \boldsymbol{A}\)

与LU分解唯一性的关系

方阵 \(\boldsymbol{A}\) 存在唯一LU分解的充要条件是：所有顺序主子矩阵 \(\boldsymbol{A}_k\) 的行列式均不为零（即 \(\det(\boldsymbol{A}_k) \neq 0\)，\(k=1,2,\dots,n\)）。此时，\(\boldsymbol{A}\) 的LU分解可通过Gaussian消元法唯一确定。

• 高斯消元法与LU分解的关联

高斯消元法的核心是通过 行初等变换（倍加变换、交换变换、数乘变换）将方阵 \(\boldsymbol{A}\) 转化为上三角阵 \(\boldsymbol{U}\)。
在 不使用行交换 的前提下，倍加变换可对应下三角阵 \(\boldsymbol{L}\) 的构造：

• 每一步消元操作（用第 \(i\) 行消去第 \(j>i\) 行的主元下方元素），等价于左乘一个单位下三角的“消元矩阵” \(\boldsymbol{L}_i\)；
• 所有消元矩阵的乘积的逆，即为最终的单位下三角阵 \(\boldsymbol{L}\)（满足 \(\boldsymbol{L}^{-1} = \boldsymbol{L}_1\boldsymbol{L}_2\cdots\boldsymbol{L}_{n-1}\)）；
• 消元后的上三角结果即为 \(\boldsymbol{U}\)，因此有 \(\boldsymbol{A} = \boldsymbol{L}\boldsymbol{U}\)，直接对应LU分解形式。

方阵LU分解的唯一性条件

若 \(\boldsymbol{A}\) 为 方阵，\(\boldsymbol{A}\) 的 各阶顺序主子式 不为零是 \(\boldsymbol{A}\) 存在 LU分解 且分解唯一的 充要条件。

PLU分解（含置换矩阵）

若 \(\boldsymbol{A}\) 为 方阵，但 \(\boldsymbol{A}\) 存在为零的 顺序主子式 且 \(\boldsymbol{A}\) 是 非奇异 的，则附带一个 置换矩阵 \(\boldsymbol{P}\) 可使LU分解存在，这种分解称为 PLU分解，形式为：

\[\boldsymbol{A} = \boldsymbol{P}\boldsymbol{L}\boldsymbol{U} \]

置换矩阵的定义与性质

置换矩阵 是一类特殊矩阵，其每行、每列恰好有一个元素为 \(1\)，其余位置均为 \(0\) 。它可看作对单位阵 \(\boldsymbol{I}\) 按行或列重新排列得到的矩阵。

• 左乘置换矩阵：实现对原矩阵的 行交换；
• 右乘置换矩阵：实现对原矩阵的 列交换。

置换矩阵的示例（行交换与列交换）

行交换（左乘 \(\boldsymbol{P}\)）

设置换矩阵 \(\boldsymbol{P}\)、原矩阵 \(\boldsymbol{A}\) 如下：

\[\boldsymbol{P} = \begin{pmatrix} 0 & 1 & 0 \\ 1 & 0 & 0 \\ 0 & 0 & 1 \end{pmatrix}, \quad \boldsymbol{A} = \begin{pmatrix} a & b & c \\ d & e & f \\ g & h & k \end{pmatrix} \]

左乘 \(\boldsymbol{P}\) 后，\(\boldsymbol{PA}\) 实现第 \(1\)、\(2\) 行交换：

\[\boldsymbol{PA} = \begin{pmatrix} d & e & f \\ a & b & c \\ g & h & k \end{pmatrix} \]

列交换（右乘 \(\boldsymbol{P}\)）

对同一 \(\boldsymbol{A}\) 和 \(\boldsymbol{P}\)，右乘 \(\boldsymbol{P}\) 后，\(\boldsymbol{AP}\) 实现第 \(1\)、\(2\) 列交换：

\[\boldsymbol{AP} = \begin{pmatrix} b & a & c \\ e & d & f \\ h & g & k \end{pmatrix} \]

具体的LU分解的例子

设有矩阵 \(\boldsymbol{A}\)，通过行初等变换（左乘消元矩阵） 实现 LU 分解，步骤如下：

1. 初始矩阵与消元步骤

原矩阵 \(\boldsymbol{A}\)：

\[\boldsymbol{A} = \begin{pmatrix} 1 & 3 & 0 \\ 2 & 4 & 0 \\ 2 & 0 & 1 \end{pmatrix} \]

（1）第一步消元：row(0)*(-2) 加到 row(1)

消元矩阵 \(\boldsymbol{E}_1\)（单位下三角阵，对应行倍加变换）：

\[\boldsymbol{E}_1 = \begin{pmatrix} 1 & 0 & 0 \\ -2 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix} \]

左乘 \(\boldsymbol{E}_1\) 实现行变换：

\[\boldsymbol{E}_1\boldsymbol{A} = \begin{pmatrix} 1 & 0 & 0 \\ -2 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix} \begin{pmatrix} 1 & 3 & 0 \\ 2 & 4 & 0 \\ 2 & 0 & 1 \end{pmatrix} = \begin{pmatrix} 1 & 3 & 0 \\ 0 & -2 & 0 \\ 2 & 0 & 1 \end{pmatrix} \]

（2）第二步消元：row(0)*(-2) 加到 row(2)

消元矩阵 \(\boldsymbol{E}_2\)：

\[\boldsymbol{E}_2 = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ -2 & 0 & 1 \end{pmatrix} \]

左乘 \(\boldsymbol{E}_2\) 继续行变换：

\[\boldsymbol{E}_2(\boldsymbol{E}_1\boldsymbol{A}) = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ -2 & 0 & 1 \end{pmatrix} \begin{pmatrix} 1 & 3 & 0 \\ 0 & -2 & 0 \\ 2 & 0 & 1 \end{pmatrix} = \begin{pmatrix} 1 & 3 & 0 \\ 0 & -2 & 0 \\ 0 & -6 & 1 \end{pmatrix} \]

（3）第三步消元：row(1)*(-3) 加到 row(2)

消元矩阵 \(\boldsymbol{E}_3\)：

\[\boldsymbol{E}_3 = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & -3 & 1 \end{pmatrix} \]

左乘 \(\boldsymbol{E}_3\) 完成最后一次行变换：

\[\boldsymbol{E}_3(\boldsymbol{E}_2(\boldsymbol{E}_1\boldsymbol{A})) = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & -3 & 1 \end{pmatrix} \begin{pmatrix} 1 & 3 & 0 \\ 0 & -2 & 0 \\ 0 & -6 & 1 \end{pmatrix} = \begin{pmatrix} 1 & 3 & 0 \\ 0 & -2 & 0 \\ 0 & 0 & 1 \end{pmatrix} \]

2. 消元矩阵的乘积与逆矩阵（构造 \(\boldsymbol{L}\)）

三次消元后得到上三角阵 \(\boldsymbol{U}\)：

\[\boldsymbol{U} = \begin{pmatrix} 1 & 3 & 0 \\ 0 & -2 & 0 \\ 0 & 0 & 1 \end{pmatrix} \]

根据消元过程，有：

\[\boldsymbol{E}_3(\boldsymbol{E}_2(\boldsymbol{E}_1\boldsymbol{A})) = \boldsymbol{U} \implies \boldsymbol{A} = (\boldsymbol{E}_3\boldsymbol{E}_2\boldsymbol{E}_1)^{-1} \boldsymbol{U} \]

（1）计算消元矩阵的乘积 \(\boldsymbol{E}_3\boldsymbol{E}_2\boldsymbol{E}_1\)

分步相乘（先乘前两个，再乘第三个）：

• 先算 \(\boldsymbol{E}_2\boldsymbol{E}_1\)：

  \[\boldsymbol{E}_2\boldsymbol{E}_1 = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ -2 & 0 & 1 \end{pmatrix} \begin{pmatrix} 1 & 0 & 0 \\ -2 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix} = \begin{pmatrix} 1 & 0 & 0 \\ -2 & 1 & 0 \\ -2 & 0 & 1 \end{pmatrix} \]

• 再乘 \(\boldsymbol{E}_3\)：

  \[\boldsymbol{E}_3(\boldsymbol{E}_2\boldsymbol{E}_1) = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & -3 & 1 \end{pmatrix} \begin{pmatrix} 1 & 0 & 0 \\ -2 & 1 & 0 \\ -2 & 0 & 1 \end{pmatrix} = \begin{pmatrix} 1 & 0 & 0 \\ -2 & 1 & 0 \\ 4 & -3 & 1 \end{pmatrix} \]

（2）求逆矩阵 \((\boldsymbol{E}_3\boldsymbol{E}_2\boldsymbol{E}_1)^{-1}\)

单位下三角阵的逆矩阵，只需将下三角非对角线元素取反：

\[(\boldsymbol{E}_3\boldsymbol{E}_2\boldsymbol{E}_1)^{-1} = \begin{pmatrix} 1 & 0 & 0 \\ 2 & 1 & 0 \\ 2 & 3 & 1 \end{pmatrix} \]

3. 总结 LU 分解

令 \(\boldsymbol{L} = (\boldsymbol{E}_3\boldsymbol{E}_2\boldsymbol{E}_1)^{-1}\)，则 \(\boldsymbol{A} = \boldsymbol{L}\boldsymbol{U}\)，其中：

• 单位下三角阵 \(\boldsymbol{L}\)：

  \[\boldsymbol{L} = \begin{pmatrix} 1 & 0 & 0 \\ 2 & 1 & 0 \\ 2 & 3 & 1 \end{pmatrix} \]

• 上三角阵 \(\boldsymbol{U}\)：

  \[\boldsymbol{U} = \begin{pmatrix} 1 & 3 & 0 \\ 0 & -2 & 0 \\ 0 & 0 & 1 \end{pmatrix} \]

验证 LU 分解

计算 \(\boldsymbol{L}\boldsymbol{U}\) 验证与原矩阵 \(\boldsymbol{A}\) 一致：

\[\boldsymbol{L}\boldsymbol{U} = \begin{pmatrix} 1 & 0 & 0 \\ 2 & 1 & 0 \\ 2 & 3 & 1 \end{pmatrix} \begin{pmatrix} 1 & 3 & 0 \\ 0 & -2 & 0 \\ 0 & 0 & 1 \end{pmatrix} = \begin{pmatrix} 1 & 3 & 0 \\ 2 & 4 & 0 \\ 2 & 0 & 1 \end{pmatrix} = \boldsymbol{A} \]

因此，矩阵 \(\boldsymbol{A}\) 的 LU 分解为：

\[\boldsymbol{A} = \boldsymbol{L}\boldsymbol{U} \]