解线性方程组迭代法

解线性方程组迭代法

在数值分析中，迭代法是解决大规模线性方程组的重要工具。迭代法可以有效地减少计算复杂度，使得求解效率更高。本文将从前置知识开始，介绍向量和矩阵的范数，再深入探讨求解线性方程组的 Jacobi 和 Gauss-Seidel 迭代法。

一、前置知识：向量和矩阵的范数

在理解迭代法之前，我们需要掌握范数（norm）的概念。范数是衡量向量或矩阵“大小”的一种工具，它帮助我们分析和评估数值方法的收敛性。

1.1 向量范数的定义

设 x 是 n 维向量，则向量 x 的范数可以表示为 ||x||，其物理意义为向量的长度或大小。常见的向量范数包括：

• 1-范数（曼哈顿距离）：

  \[||x||_1 = \sum_{i=1}^{n} |x_i| \]

• 2-范数（欧几里得距离）：

  \[||x||_2 = \left( \sum_{i=1}^{n} |x_i|^2 \right)^{1/2} \]

• ∞-范数（切比雪夫距离）：

  \[||x||_\infty = \max_{1 \leq i \leq n} |x_i| \]

1.2 范数的三大特征

范数有以下三个重要特征，这些特征与绝对值的性质类似：

1. 正定性：
   对于任意向量 x，有

   \[||x|| \geq 0，且 ||x|| = 0 \iff x = 0 \]

2. 线性性（齐次性）：
   对于任意标量 α 和向量 x，有

   \[||\alpha x|| = |\alpha| \cdot ||x|| \]

3. 三角不等式：
   对于任意向量 x 和 y，有

   \[||x + y|| \leq ||x|| + ||y|| \]

这些特征与绝对值的三大特征相似：

• 绝对值的正定性：|a| ≥ 0 且 |a| = 0 当且仅当 a = 0。
• 绝对值的线性性：|αa| = |α| ⋅ |a|。
• 绝对值的三角不等式：|a + b| ≤ |a| + |b|。

1.3 矩阵的范数

矩阵 A 的范数 ||A|| 可以定义为其作用在向量 x 上时的放大倍数，即：

\[||A|| = \sup_{x \neq 0} \frac{||Ax||}{||x||} \]

常用的矩阵范数包括：

• 1-范数：列和范数

  \[||A||_1 = \max_j \sum_{i=1}^{m} |a_{ij}| \]

• ∞-范数：行和范数

  \[||A||_\infty = \max_i \sum_{j=1}^{n} |a_{ij}| \]

• 2-范数：谱范数（最大特征值的平方根）

1.4 正定矩阵

一个矩阵 A 被称为正定矩阵，如果对任意非零向量 x，总有：

\[x^T A x > 0 \]

正定矩阵在迭代法中有重要作用，因为它们能够保证算法的收敛性。

---

二、解线性方程组的迭代法

在求解线性方程组 Ax = b 的问题中，直接求解（如高斯消元法）在处理大型稀疏矩阵时效率低下。因此，迭代法成为更好的选择。

2.1 Jacobi 迭代法

Jacobi 迭代法是求解线性方程组的基本方法之一。其核心思想是将 Ax = b 转化为：

\[x_i^{(k+1)} = \frac{1}{a_{ii}} \left( b_i - \sum_{j \neq i} a_{ij} x_j^{(k)} \right) \]

Jacobi 迭代法的步骤

1. 初始化 x^{(0)}，设定初始猜测。
2. 根据上式计算新的 x_i。
3. 检查是否满足收敛条件 ||x^{(k+1)} - x^{(k)}|| < \epsilon。
4. 若未满足，重复步骤 2 和 3。

收敛性分析

Jacobi 迭代法的收敛性与矩阵 A 的特性相关。当 A 是严格对角占优或正定矩阵时，Jacobi 迭代法可以保证收敛。

2.2 Gauss-Seidel 迭代法

Gauss-Seidel 迭代法在 Jacobi 迭代法的基础上进行改进，每次计算 x_i 时立即使用最新的迭代结果。

其迭代公式为：

\[x_i^{(k+1)} = \frac{1}{a_{ii}} \left( b_i - \sum_{j < i} a_{ij} x_j^{(k+1)} - \sum_{j > i} a_{ij} x_j^{(k)} \right) \]

Gauss-Seidel 迭代法的步骤

1. 初始化 x^{(0)}。
2. 按照上式逐步更新 x_i。
3. 检查收敛条件 ||x^{(k+1)} - x^{(k)}|| < \epsilon。
4. 若未满足，重复步骤 2 和 3。

Gauss-Seidel 方法与 Jacobi 方法的对比

• 收敛速度：Gauss-Seidel 通常比 Jacobi 收敛更快，因为它在每次迭代中使用更新后的新值。
• 内存消耗：Gauss-Seidel 直接更新当前的解向量，而 Jacobi 需要保留整个旧解向量，因此 Gauss-Seidel 更节省内存。

2.3 迭代法的收敛性条件

为了确保 Jacobi 和 Gauss-Seidel 方法的收敛，需要满足以下条件之一：

1. 矩阵 A 是严格对角占优：即 |a_{ii}| > \sum_{j \neq i} |a_{ij}|。
2. 矩阵 A 是正定矩阵。

---

总结

本文介绍了向量和矩阵的范数、正定矩阵的定义及其三大特征，并深入讲解了 Jacobi 和 Gauss-Seidel 迭代法。通过掌握这些知识，可以更好地理解迭代法在求解线性方程组中的应用，以及如何利用其特性来加速收敛。

在实际应用中，选择合适的迭代法需要根据矩阵的特性进行判断，而范数和正定性则是评估收敛性的重要工具。