线性代数.22对角化和A的权利

对角化

上一节课我们知道了怎么求解特征值和特征向量。

假设 \(A\) 有 \(n\) 个线性无关特征向量，按列组成矩阵 \(S\) ,称其为特征向量矩阵。

我们算一下 \(A\) 乘以 \(S\) 会发生什么。

\[\begin{align} AS&=A. \left( \begin{array}{cccc} x_1 & x_2 & ... & x_n \\ \end{array} \right)\\ &= \left( \begin{array}{cccc} \lambda _1 x_1 & \lambda _2 x_2 & ... & \lambda _n x_n \\ \end{array} \right)\\ &= \left( \begin{array}{cccc} x_1 & x_2 & ... & x_n \\ \end{array} \right) \left( \begin{array}{cccc} \lambda _1 & 0 & 0 & 0 \\ 0 & \lambda _2 & 0 & 0 \\ ... & ... & ... & ... \\ 0 & 0 & 0 & \lambda _n \\ \end{array} \right)\\ &= S\Lambda \end{align} \]

注：\(x\) 表示列向量。

\(\Lambda\) 表示特征值矩阵，她是对角矩阵。

我们得到公式

\[AS=S\Lambda \]

左乘 \(S^{-1}\)

\[S^{-1}AS=S^{-1}S\Lambda \]

因为

\[S^{-1}S=I \]

所以

\[S^{-1}AS=\Lambda \]

这就是对角化方法。

还可以写成另一种形式，就是右乘 \(S^{-1}\) 的时候,可得

\[A=S\Lambda S^{-1} \]

这是新的矩阵分解方法，以前我们已经有消元法中的 \(LU\) 矩阵和格拉姆-施密特正交化中的 \(QR\) 矩阵。

前提条件是 \(A\) 有 \(n\) 个线性无关特征向量，这其实也说明，\(S\) 必须可逆。

意义

对角化的意义是在求解矩阵幂的时候。

例子1

已知 \(Ax=\lambda x\) , 求解 \(A^2\) 的特征值和特征向量

两边同时乘以 \(A\) ,得

\[A^2x=\lambda A x =\lambda^2x \]

所以，\(A^2\) 的特征向量还是 \(x\) ,但是特征值变为原来特征值的平方，即 \(\lambda^2\)。

我们从对角化方法计算，

\[A^2=S\Lambda S^{-1}.S\Lambda S^{-1}=S\Lambda^2 S^{-1} \]

对角化后，特征向量矩阵不变，表示矩阵平方后特征向量不变，但是特征值矩阵变为平方，表示矩阵平方后，特征值变为原来特征值的平方。

和上个式子的结论一样，只是变成矩阵形式。

对角化计算的美妙之处在于，我们可以轻易得到矩阵 \(k\) 次方的时候，特征值和特征向量的情况，即

\[A^K=S \Lambda^k S^{-1} \]

特征值变为原来的 \(k\) 次方。特征向量不变。

但是如果用刚开始那种方法，就不这么简单。

反过来理解，特征向量和特征值提供了理解、计算矩阵幂的好方法。

定理

当所有 \(|\lambda| <0\) 时，有

\[A^{k}\rightarrow 0 \quad as \quad k\rightarrow ∞ \]

此时我们称矩阵是稳定的。

因为 \(A^K=S \Lambda^k S^{-1}\) ,\(S\) 不变，\(A^K\) 随着幂次越高越小，只有 \(\Lambda^k\) 也 随着幂次越高越小。

我们想要了解矩阵幂的情况，从特征值上就能得到信息。

这就是对角化的意义。

可对角化的情况

哪些矩阵可以对角化？\(A\) 必须存在 \(n\) 个线性无关特征向量。

而 \(A\) 必然存在 \(n\) 个线性无关特征向量的一个很好的条件是，所有的 \(\lambda\) 都不同，也就是说没有重复的特征值。

但是如果有重复的 \(\lambda\) ,就需要深入研究，可能但不一定存在 \(n\) 个线性无关特征向量。她不是一个肯定的结论。

例子1

一个 \(10*10\) 的单位阵，计算其特征值，结果都是 \(1\) .但是 \(n\) 阶单位阵的特征向量可以是任意 \(n\) 维向量。因为她们都满足 \(Ax=\lambda x\)。我们可以完整的取到10个线性无关的特征向量。

例子2

假设有

\[A=\left( \begin{array}{cc} 2 & 1 \\ 0 & 2 \\ \end{array} \right) \]

我们想要对其对角化。

先算特征向量和特征值。

根据特征值方程

\[det(A-\lambda I)=\left| \begin{array}{cc} 2-\lambda & 1 \\ 0 & 2-\lambda \\ \end{array} \right|=(2-\lambda)(2-\lambda) \]

解得

\[\lambda_1=2,\lambda_2=2 \]

代入 \((A-\lambda I)\) ，有

\[A-\lambda I= \left( \begin{array}{cc} 0& 1 \\ 0 & 0 \\ \end{array} \right) \]

计算该矩阵的零空间的基向量，可得

\[x= \left( \begin{array}{c} 1 \\ 0 \\ \end{array} \right) \]

只有一个特征向量。所以这个 \(2*2\) 矩阵的特征向量不完整，无法对角化。

计算特征值重复次数时，我们用代数重度（algebraic multiplicity）表示。例子2的代数重度就是2，即特征值重复了两次，她体现在多项式根的时候用了两次。

差分方程组求解

一阶差分方程组的求解

已知向量 \(u_0\)，下一项等于矩阵 \(A\) 乘以前一项，即 \(u_{k+1}=Au_k\)。求解 \(u_k\) ,这是一阶差分方程组，由向量和矩阵组成。

我们可以得到，

\(u_1=Au_0\)，

\(u_2=Au_1=A^2u_0\),

...

\(u_k=A^ku_0\).

这是一阶差分方程组的解。

问题是，如何根据初始值 \(u_0\) 来求解 \(u_k\) 的具体的数值。

把 \(u_0\) 看称若干个线性无关特征向量（可以理解为基向量，她们的线性组合可以生成 \(u_0\) ）相加:

\[u_0=c_1x_1+c_2x_2+...+c_nx_n \]

其中，\(c\) 表示标量，是常数。

将 \(u_0\) 左乘 \(A\)

\[\begin{align} Au_0&=c_1Ax_1+c_2Ax_2+...+c_nAx_n\\ &=c_1\lambda_1x_1+c_2\lambda_2x_2+...+c_n\lambda_nx_n \end{align} \]

可得

\[\begin{align} u_{100}= A^{100}u_0 &=c_1\lambda_1^{100}x_1+c_2\lambda_2^{100}x_2+...+c_n\lambda_n^{100}x_n \end{align} \]

矩阵形式：

\[u_{100}=A^{100}u_0=\Lambda^{100}SC \]

\(C\) 是由\(c_1、c_2...c_n\) 构成的矩阵。

总结：

计算 \(u_{100}\) ,步骤如下

1. 将初始向量展开成特征向量的组合
2. 然后矩阵 \(A^{100}\) 乘以各个特征向量
3. 矩阵 \(A\) 可以化简为特征值 \(\lambda\) , \(A^{100}\) 化简为对应的 \(\lambda^{100}\) .

斐波那契数列（二阶差分方程组的求解）

已知斐波那契数列：0、1、1、2、3、5、8...，我们想要知道，第100项 \(F_{100}\) 等于多少？以及她的增长速度有多快？

前面我们讲过，矩阵增长稳定，最终趋向等于零，她的变化可以由特征值体现和决定。这里也是一样。数列的增长由特征值决定。

斐波那契数列递归式:

\[F_{k+2}=F_{k+1}+F_{k} \]

我们希望写成 \(u_k=A^ku_0\) 的形式。但目前只有一个方程，而且是二阶差分方程，就像含有二阶导数的微分方程，希望能化简为只含有一阶导数的微分方程，也就是一阶差分。怎么做？

技巧是如何定义向量 \(u_k\).用一个 \(2*2\) 方程组代替原来的二阶差分方程。

令

\[u_k=\left( \begin{array}{c} F_{k+1} \\ F_k \\ \end{array} \right) \]

追加一个方程

\[F_{k+1}=F_{k+1} \]

此时联立两个方程 \(F_{k+2}=F_{k+1}+F_{k}、F_{k+1}=F_{k+1}\)。可以写出 \(u_{k+1}\) 表达式。

可得

\[u_{k+1}= \left( \begin{array}{c} F_{k+2} \\ F_{k+1} \\ \end{array} \right)= \left( \begin{array}{cc} 1 & 1 \\ 1 & 0 \\ \end{array} \right) \left( \begin{array}{c} F_{k+1} \\ F_k \\ \end{array} \right)=\left( \begin{array}{cc} 1 & 1 \\ 1 & 0 \\ \end{array} \right)u_k=Au_k \]

这里就将二阶差分方程变为一阶。

同一阶差分一样，有 \(u_k=A^ku_0\) .

得到 \(A\) ,就可以计算特征值和特征向量，通过特征值方程可得

\[det(A-\lambda I)= \left| \begin{array}{cc} 1-\lambda & 1 \\ 1 & -\lambda \\ \end{array} \right|=\lambda^2-\lambda-1 \]

解得

\[\lambda_1=\frac{1}{2} \left(1+\sqrt{5}\right)≈1.618，\lambda_2=\frac{1}{2} \left(1-\sqrt{5}\right)≈-0.618 \]

\(\lambda\) 不同，\(A\) 可以对角化。

\[\begin{align} u_{100}= A^{100}u_0 &=c_1\lambda_1^{100}x_1+c_2\lambda_2^{100}x_2 \end{align} \]

数列的增长由特征值决定。而 \(\lambda\) 较大的一个起到决定性作用，因为根据对角化后的式子，\(\lambda_1^{n}\) 越来越大，而 \(\lambda_2^{n}\) 越来越小,趋向于0，因此我们可以将 \(F_{100}\) 写为

\[F_{100}≈c_1\lambda_1^{100}=c_1(\frac{1}{2} \left(1+\sqrt{5}\right))^{100} \]

所以数列在第一百项的增长速率由 \(\lambda_1^{100}\) 决定。

求解特征向量，将两个 $\lambda $ 分别代入\((A-\lambda I)x=0\) ，可得

\[x_1=\left( \begin{array}{c} \lambda _1 \\ 1 \\ \end{array} \right)， x_2=\left( \begin{array}{c} \lambda _2 \\ 1 \\ \end{array} \right) \]

而初始向量

\[u_0=\left( \begin{array}{c} F_1 \\ F_0 \\ \end{array} \right) =\left( \begin{array}{c} 1 \\ 0 \\ \end{array} \right) \]

展开成特征向量的组合

\[u_0=c_1x_1+c_2x_2=\left( \begin{array}{c} 1 \\ 0 \\ \end{array} \right) \]

知道 \(x_1、x_2\)，可解得

\[c_1=\frac{1}{\sqrt{5}} ，c_2=-\frac{1}{\sqrt{5}} \]

代入

\[F_{100}≈c_1\lambda_1^{100}=c_1(\frac{1}{2} \left(1+\sqrt{5}\right))^{100}≈3.54225\times 10^{20} \]