5.1线性方程组数值解法预备知识

线性方程组数值解法预备知识 深度讲解与推导证明

一、引言部分核心内容讲解

线性代数方程组的求解是数值计算的核心基础，自然科学与工程领域的绝大多数问题（电学网络、样条插值、最小二乘拟合、微分方程数值解、非线性方程组求解等）最终都会转化为线性方程组 \(Ax=b\) 的求解问题。

1.1 系数矩阵的分类

根据矩阵的阶数和元素分布，系数矩阵分为两类，直接决定了求解方法的选择：

• 低阶稠密矩阵：阶数 \(n \leq 150\)，绝大多数元素非零，适合用直接法求解；
• 大型稀疏矩阵：阶数极高（成千上万甚至更高），零元素占绝大多数，适合用迭代法求解。

1.2 两类数值解法对比

方法类型	核心定义	核心特点	适用场景
直接法	无舍入误差时，经过有限次算术运算可得到精确解；实际计算中因舍入误差得到近似解	计算量确定、精度可控；对大型稀疏矩阵会产生填充元，破坏稀疏性	低阶稠密矩阵、大型带状稀疏矩阵（如三对角矩阵）
迭代法	构造极限过程，用迭代序列 \(\{x_k\}\) 逐步逼近精确解 \(x^*\)	存储量小、不修改原矩阵、程序简单；存在收敛性与收敛速度问题	大型稀疏线性方程组（尤其是微分方程离散得到的方程组）

---

二、向量与矩阵基础定义讲解

2.1 矩阵与向量的线性空间

• \(\mathbb{R}^{m\times n}\)：全体 \(m\) 行 \(n\) 列实矩阵构成的线性空间，对矩阵加法和数乘封闭，满足线性空间8条公理；
• \(\mathbb{C}^{m\times n}\)：全体 \(m\) 行 \(n\) 列复矩阵构成的线性空间；
• 向量约定：\(\mathbb{R}^n\) 中的向量默认是\(n\) 维列向量（\(n\times1\) 矩阵），符合线性变换与线性方程组的运算习惯。

2.2 矩阵的分块表示（核心运算基础）

1. 按列分块：\(A=(a_1,a_2,\dots,a_n)\)，其中 \(a_j\) 是 \(A\) 的第 \(j\) 列，\(a_j=(a_{1j},a_{2j},\dots,a_{mj})^T \in \mathbb{R}^m\)。
   • 核心意义：\(Ax = x_1a_1 + x_2a_2 + \dots + x_na_n\)，即矩阵乘向量等价于矩阵列向量的线性组合，\(Ax=b\) 有解等价于 \(b\) 可表示为 \(A\) 列向量的线性组合。
2. 按行分块：\(A=\begin{pmatrix}b_1^T \\ b_2^T \\ \vdots \\ b_m^T\end{pmatrix}\)，其中 \(b_i^T\) 是 \(A\) 的第 \(i\) 行，\(b_i=(a_{i1},a_{i2},\dots,a_{in})^T \in \mathbb{R}^n\)。
   • 核心意义：\(Ax\) 的第 \(i\) 个分量为 \(b_i^T x\)，即 \(A\) 的第 \(i\) 行与 \(x\) 的内积，是高斯消元行变换的核心基础。

---

三、矩阵基本运算与性质 详细推导

3.1 基础运算定义

运算类型	定义与前提	核心性质
矩阵加法	同型矩阵 \(A,B\in\mathbb{R}^{m\times n}\)，\(C=A+B\)，\(c_{ij}=a_{ij}+b_{ij}\)	交换律 \(A+B=B+A\)、结合律 \((A+B)+C=A+(B+C)\)、零元为零矩阵
数乘矩阵	标量 \(\alpha\)，\(C=\alpha A\)，\(c_{ij}=\alpha a_{ij}\)	分配律 \(\alpha(A+B)=\alpha A+\alpha B\)、结合律 \(\alpha(\beta A)=(\alpha\beta)A\)
矩阵乘法	\(A\in\mathbb{R}^{m\times s}, B\in\mathbb{R}^{s\times n}\)，\(C=AB\)，\(c_{ij}=\sum_{k=1}^s a_{ik}b_{kj}\)	结合律 \((AB)C=A(BC)\)、分配律 \(A(B+C)=AB+AC\)；不满足交换律（本质是线性变换复合顺序不可交换）；\(AB=O\) 不能推出 \(A=O\) 或 \(B=O\)
转置矩阵	\(A\in\mathbb{R}^{m\times n}\)，\(C=A^T\)，\(c_{ij}=a_{ji}\)	\((A^T)^T=A\)、\((A+B)^T=A^T+B^T\)、\((AB)^T=B^T A^T\)（乘积的转置等于转置的反向乘积）
单位矩阵	\(I=(e_1,e_2,\dots,e_n)\in\mathbb{R}^{n\times n}\)，\(e_k\) 为第 \(k\) 个分量为1的标准单位向量	对任意 \(A\in\mathbb{R}^{m\times n}\)，\(I_m A = A I_n = A\)，是矩阵乘法的单位元

3.2 逆矩阵（非奇异矩阵）核心推导

定义

设 \(A,B\in\mathbb{R}^{n\times n}\)，若 \(AB=BA=I\)，则称 \(B\) 是 \(A\) 的逆矩阵，记为 \(A^{-1}\)；逆矩阵存在的矩阵称为非奇异矩阵，否则为奇异矩阵。

核心性质与证明

1. 逆矩阵的唯一性
   证明：假设 \(B,C\) 都是 \(A\) 的逆矩阵，则 \(B=BI=B(AC)=(BA)C=IC=C\)，故逆矩阵唯一。

2. \((A^{-1})^T=(A^T)^{-1}\)（逆的转置等于转置的逆）
   证明：\(A^T \cdot (A^{-1})^T = (A^{-1}A)^T = I^T = I\)，同理 \((A^{-1})^T \cdot A^T = I\)，根据逆矩阵定义，\((A^T)^{-1}=(A^{-1})^T\)。

3. \((AB)^{-1}=B^{-1}A^{-1}\)（乘积的逆等于逆的反向乘积）
   证明：\((AB)(B^{-1}A^{-1})=A(BB^{-1})A^{-1}=AIA^{-1}=AA^{-1}=I\)，同理 \((B^{-1}A^{-1})(AB)=I\)，故 \((AB)^{-1}=B^{-1}A^{-1}\)。

3.3 行列式核心推导

基础定义

• 余子式 \(M_{ij}\)：去掉 \(A\) 的第 \(i\) 行第 \(j\) 列后，剩余 \(n-1\) 阶方阵的行列式；
• 代数余子式 \(A_{ij}=(-1)^{i+j}M_{ij}\)；
• 行列式展开：按第 \(i\) 行展开 \(\det(A)=\sum_{j=1}^n a_{ij}A_{ij}\)；按第 \(j\) 列展开 \(\det(A)=\sum_{i=1}^n a_{ij}A_{ij}\)。

核心性质与证明

1. \(\det(AB)=\det(A)\det(B)\)（乘法定理）
   证明：任意方阵可分解为初等矩阵的乘积，初等矩阵的行列式满足：行交换矩阵行列式为\(-1\)，行倍乘矩阵行列式为倍乘系数，行倍加矩阵行列式为\(1\)。对 \(A=P_1P_2\cdots P_k\)，\(\det(AB)=\det(P_1)\det(P_2)\cdots\det(P_k)\det(B)=\det(A)\det(B)\)。

2. \(\det(A^T)=\det(A)\)
   证明：行列式按行展开与按列展开的表达式完全等价，转置后行与列互换，行列式值不变。

3. \(\det(cA)=c^n\det(A)\)
   证明：\(cA\) 的每一行都乘了系数 \(c\)，行列式每行可提取一个公因子 \(c\)，\(n\) 行共提取 \(n\) 个 \(c\)，故 \(\det(cA)=c^n\det(A)\)。

4. \(\det(A)\neq0 \iff A\) 非奇异（可逆）
   证明：

   • 必要性：若 \(A\) 可逆，则 \(AA^{-1}=I\)，两边取行列式得 \(\det(A)\det(A^{-1})=1\)，故 \(\det(A)\neq0\)；
   • 充分性：若 \(\det(A)\neq0\)，构造伴随矩阵 \(A^*=(A_{ji})\)，由行列式展开性质得 \(AA^*=A^*A=\det(A)I\)，故 \(A^{-1}=\frac{A^*}{\det(A)}\)，逆矩阵存在，\(A\) 非奇异。

3.4 特征值与谱半径

定义

设 \(A\in\mathbb{R}^{n\times n}\)，若存在数 \(\lambda\) 和非零向量 \(x\in\mathbb{C}^n\) 满足 \(Ax=\lambda x\)，则 \(\lambda\) 为 \(A\) 的特征值，\(x\) 为对应特征向量。

• 特征方程：\(\det(A-\lambda I)=0\)（齐次方程组 \((A-\lambda I)x=0\) 有非零解的充要条件）；
• 谱 \(\sigma(A)\)：\(A\) 的全体特征值的集合 \(\sigma(A)=\{\lambda_1,\lambda_2,\dots,\lambda_n\}\)；
• 谱半径 \(\rho(A)\)：\(\rho(A)=\max_{1\leq i\leq n}|\lambda_i|\)，是迭代法收敛性分析的核心指标。

---

四、特殊矩阵 定义与核心性质

矩阵类型	定义	核心性质	核心应用
对角矩阵	\(i\neq j\) 时 \(a_{ij}=0\)	乘积、逆仍为对角矩阵；行列式为对角线元素乘积；特征值为对角线元素	最简线性方程组求解，直接得到解 \(x_i=b_i/a_{ii}\)
三对角矩阵	\(|i-j|>1\) 时 \(a_{ij}=0\)	带状矩阵，带宽3，存储量仅需 \(3n-2\) 个元素	三次样条插值、常微分方程三点差分，用追赶法求解，计算量 \(O(n)\)
上/下三角矩阵	上三角：\(i>j\) 时 \(a_{ij}=0\)；下三角：\(i<j\) 时 \(a_{ij}=0\)	乘积、逆仍为同类型三角矩阵；行列式为对角线元素乘积；上三角方程组用回代法求解，下三角用前代法，计算量 \(O(n^2)\)	高斯消去法/LU分解的核心，将原方程组转化为三角方程组求解
上黑森伯格矩阵	\(i>j+1\) 时 \(a_{ij}=0\)	介于三角矩阵与满矩阵之间，仅保留下次对角线	矩阵特征值QR算法，先化为黑森伯格矩阵减少计算量
对称矩阵	\(A^T=A\)	特征值全为实数；有 \(n\) 个线性无关的正交特征向量；可正交对角化	最小二乘正规方程、有限元刚度矩阵，有专门的高效求解算法
对称正定矩阵	① \(A^T=A\)；② 对任意非零 \(x\)，\(x^TAx>0\)	可逆，逆仍对称正定；所有顺序主子阵正定；特征值全大于0；顺序主子式全大于0；可做Cholesky分解 \(A=LL^T\)	优化问题、有限元分析，Cholesky分解求解效率高、数值稳定性好
正交矩阵	\(A^{-1}=A^T\)，即 \(A^TA=AA^T=I\)	列/行向量为两两正交的单位向量；逆为自身转置；正交变换保范数、保内积，数值稳定性极佳	QR分解、最小二乘求解、特征值计算，避免误差放大
置换矩阵	单位矩阵经行/列交换得到，每行每列仅有一个1	正交矩阵，\(P^T=P^{-1}\)；左乘交换行，右乘交换列	列主元高斯消去，记录行交换过程
埃尔米特矩阵	复矩阵，\(A^H=A\)（\(A^H=\bar{A}^T\) 为共轭转置）	特征值全为实数；可酉对角化	量子力学、复信号处理
酉矩阵	复矩阵，\(A^{-1}=A^H\)	酉变换保复向量内积与范数	复矩阵QR分解、奇异值分解

---

五、核心定理 详细证明

定理5.1 方阵可逆/方程组有唯一解的等价命题

设 \(A\in\mathbb{R}^{n\times n}\)，以下命题等价：

1. 对任意 \(b\in\mathbb{R}^n\)，\(Ax=b\) 有唯一解；
2. 齐次方程组 \(Ax=0\) 只有零解 \(x=0\)；
3. \(\det(A)\neq0\)；
4. \(A^{-1}\) 存在（\(A\) 非奇异）；
5. \(A\) 的秩 \(\text{rank}(A)=n\)（\(A\) 满秩）。

循环证明

1. (1)⇒(2)：取 \(b=0\)，\(Ax=0\) 有唯一解，而 \(x=0\) 是解，故唯一解为零解。
2. (2)⇒(3)：齐次方程组有非零解的充要条件是 \(\det(A)=0\)，现只有零解，故 \(\det(A)\neq0\)。
3. (3)⇒(4)：\(\det(A)\neq0\)，由伴随矩阵构造得 \(A^{-1}=\frac{A^*}{\det(A)}\)，逆矩阵存在。
4. (4)⇒(1)：\(A\) 可逆，则 \(x=A^{-1}b\) 是 \(Ax=b\) 的解；若 \(x_1,x_2\) 都是解，则 \(A(x_1-x_2)=0\)，左乘 \(A^{-1}\) 得 \(x_1=x_2\)，解唯一。
5. (4)⇨(5)：\(A\) 可逆，则行/列向量组线性无关，行秩=列秩=\(n\)，故 \(\text{rank}(A)=n\)。
6. (5)⇨(2)：\(\text{rank}(A)=n\)，列向量组线性无关，故 \(x_1a_1+\dots+x_na_n=0\) 只有零解，即 \(Ax=0\) 只有零解。

定理5.2 实对称矩阵的正交对角化

设 \(A\in\mathbb{R}^{n\times n}\) 为对称矩阵，则：

1. \(A\) 的特征值均为实数；
2. \(A\) 有 \(n\) 个线性无关的特征向量；
3. 存在正交矩阵 \(P\)，使得 \(P^TAP=\text{diag}(\lambda_1,\lambda_2,\dots,\lambda_n)\)，其中 \(\lambda_i\) 为 \(A\) 的特征值，\(P\) 的列向量为对应特征向量。

证明

1. 特征值为实数：设 \(Ax=\lambda x\)，\(x\neq0\)，两边取共轭转置得 \(x^HA=\bar{\lambda}x^H\)。因 \(A\) 实对称，\(A^H=A\)，故 \(x^HAx=\lambda x^Hx=\bar{\lambda}x^Hx\)。\(x\neq0\) 时 \(x^Hx>0\)，故 \(\lambda=\bar{\lambda}\)，\(\lambda\) 为实数。
2. \(n\) 个线性无关特征向量：实对称矩阵的代数重数=几何重数，\(k\) 重特征值对应 \(k\) 个线性无关特征向量，总共有 \(n\) 个线性无关特征向量。
3. 正交对角化：将 \(n\) 个特征向量正交化、单位化，得到两两正交的单位特征向量 \(u_1,\dots,u_n\)，构造 \(P=(u_1,\dots,u_n)\)，则 \(P\) 为正交矩阵。计算得 \(P^TAP=(P^TAu_1,\dots,P^TAu_n)=\text{diag}(\lambda_1,\dots,\lambda_n)\)。

定理5.3 对称正定矩阵的性质

设 \(A\in\mathbb{R}^{n\times n}\) 为对称正定矩阵，则：

1. \(A\) 非奇异，且 \(A^{-1}\) 亦对称正定；
2. \(A\) 的顺序主子阵 \(A_k\)（前 \(k\) 行前 \(k\) 列）均为对称正定矩阵；
3. \(A\) 的特征值 \(\lambda_i>0\)；
4. \(A\) 的顺序主子式 \(\det(A_k)>0\)。

证明

1. 非奇异且逆正定：若 \(A\) 奇异，则 \(Ax=0\) 有非零解，\(x^TAx=0\)，与正定矛盾，故 \(A\) 可逆。\((A^{-1})^T=(A^T)^{-1}=A^{-1}\)，对称；对任意非零 \(x\)，令 \(y=A^{-1}x\)，则 \(x^TA^{-1}x=y^TAy>0\)，故 \(A^{-1}\) 正定。
2. 顺序主子阵正定：\(A_k\) 显然对称；对任意非零 \(k\) 维向量 \(x_k\)，构造 \(n\) 维向量 \(x=(x_k^T,0)^T\neq0\)，则 \(x^TAx=x_k^TA_kx_k>0\)，故 \(A_k\) 正定。
3. 特征值全正：设 \(Ax=\lambda x\)，\(x\neq0\)，则 \(x^TAx=\lambda x^Tx>0\)，\(x^Tx>0\)，故 \(\lambda>0\)。
4. 顺序主子式全正：\(A_k\) 正定，特征值全正，\(\det(A_k)\) 为特征值乘积，故 \(\det(A_k)>0\)。

定理5.4 对称正定矩阵的判定

设 \(A\in\mathbb{R}^{n\times n}\) 为对称矩阵，若满足以下任一条件，则 \(A\) 对称正定：

1. 所有特征值 \(\lambda_i>0\)；
2. 所有顺序主子式 \(\det(A_k)>0\)（西尔维斯特判据）。

证明

1. 特征值全正⇒正定：对称矩阵可正交对角化 \(A=P\Lambda P^T\)，对任意非零 \(x\)，令 \(y=P^Tx\neq0\)，则 \(x^TAx=y^T\Lambda y=\sum\lambda_i y_i^2>0\)，故 \(A\) 正定。
2. 顺序主子式全正⇒正定：数学归纳法。\(n=1\) 时显然成立；假设 \(n-1\) 阶成立，对 \(n\) 阶矩阵分块 \(A=\begin{pmatrix}A_{n-1}&a\\a^T&a_{nn}\end{pmatrix}\)，构造单位下三角矩阵 \(L\)，得 \(L^TAL=\begin{pmatrix}A_{n-1}&0\\0&c\end{pmatrix}\)，其中 \(c=\det(A)/\det(A_{n-1})>0\)。对任意非零 \(x\)，令 \(y=L^{-1}x\neq0\)，则 \(x^TAx=y^T(L^TAL)y=y_{1:n-1}^TA_{n-1}y_{1:n-1}+cy_n^2>0\)，故 \(A\) 正定。

---

六、核心知识点汇总表

知识模块	核心内容	关键结论
线性方程组解法	直接法、迭代法	直接法适合低阶稠密/带状矩阵，迭代法适合大型稀疏矩阵
矩阵基础运算	加法、数乘、乘法、转置、逆、行列式	乘积的转置/逆均为反向乘积；\(\det(AB)=\det(A)\det(B)\)；\(\det(A)\neq0\) 是可逆的充要条件
特征值与谱	特征方程、谱、谱半径	特征值满足 \(\det(A-\lambda I)=0\)；谱半径是迭代法收敛的核心指标
特殊矩阵	三角矩阵、对称矩阵、对称正定矩阵、正交矩阵	三角矩阵求解仅需前代/回代；对称矩阵可正交对角化；对称正定矩阵可Cholesky分解；正交矩阵数值稳定性最优
核心定理	可逆等价命题、对称矩阵对角化、正定矩阵性质与判定	方阵可逆等价于满秩、行列式非零、方程组有唯一解；对称正定矩阵的充要条件是特征值全正/顺序主子式全正