矩阵的特征值和相似对角化

矩阵的特征值和相似

由于Eric上课没有听懂老师在讲什么，所以打算自己结合（照抄）AI整理一份知识点出来。

矩阵的特征值与特征向量

我不喜欢从代数的角度解释一个新数学概念，因为这不好记（

自从人们发现矩阵这个东西可以很方便的解释一些高维的事情，事情一发不可收拾。

这天，小C拿来了一个向量 \(\vec x = (x_1,x_2,\cdots, x_n)\)。这倒是不足为奇。不过小C手里还有一个矩阵 \(A\)。于是，超级拼装！小C算出来了一个新的向量 \(\vec y = A\times \vec x\)。

众所周知，用方阵乘一个向量，可以看作对这个向量做旋转拉伸变换。而将这个左乘放在 \(\R^n\) 空间上，可以看作对空间进行多种变换。可是小C很讨厌左乘之后发生旋转（因为这不好验证答案）

于是她想知道，能不能找到一些向量，让这些向量在经过变换后，只进行了伸缩变换（反向也视作伸缩，不视作旋转）。当然，如果这个向量是零向量的话，那再讨论旋转或伸缩就没有意义了，因此她不考虑零向量。

形式化的：现在需要寻找 \(\vec x\) 满足 \(A\vec x=\lambda \vec x,\vec x\neq \vec 0\)。

小C不会，于是来问小E。可怜的小E听完老师讲课也没听懂其中的道理，于是有了这篇笔记。

小E发现，这个柿子可以进行变换：

\[Ax=\lambda x\\ (A-\lambda I)x=0 \]

由于小C不想要零向量，于是这等价于求 \((A-\lambda I)x=0\) 的非零解。

as we all know，如果 \(Bx=0\) 有非零解，那么B的行列式应当是0。

然后我们得到了一个充要条件：\(|A-\lambda I|=0\)

根据这个，我们能够得到很多个 \(\lambda\)。如果同时考虑重根，我们应该能够得到 \(\lambda_1,\lambda_2,\cdots,\lambda_n\)。（需要注意的是，这些根有可能是复数根）

小C想到，如果A是一个上三角/下三角矩阵，那么这个 \(\lambda\) 恰好是对角线上的 \(n\) 个数。

那么有一个很显然的结论：\(\prod_{i=1}^n \lambda_i=|A|\)。

不过还有一个不是很显然的性质，这需要引入一个新的定义：迹

定义 \(tr(A)=\sum_{i=1}^n a_{i,i}\)

迹的几何意义比较复杂，简单来说，迹的本质是线性变换引起的体积瞬时膨胀率。形象一点的例子就是，行列式是函数值，迹是导数值。

由于迹表达的仍然是体积相关的事情，那么一个很显然的结论是，换一个角度观察同一个线性算子，迹仍然不变。

那么，进行基变换之后，迹仍然不变。

我们知道，如果用特征向量构造一组基，那么经过A的变换，每个向量其实只是在各个方向上进行了放缩而已。由迹的定义，很显然在那一刻的变化率就是各个方向的变化率之和。因此我们有 \(tr(A)=\sum_{i=1}^n \lambda_i\)

其实，迹的定义不是简单的求和，其标准定义是这样的：
考虑一组标准正交基 \(\{e_1,\cdots,e_n\}\)

\[tr(A)=\sum_{i=1}^n<Ae_i,e_i> \]

如果你换用特征向量构成的基，你会发现，由于A对特征向量的影响只有放缩，那么 \(Ax_i,x_i\) 的夹角就是0。因此，在标准化之后，每一个加法单元的贡献就恰好是 \(\lambda_i\)

小C发现，如果包括重根在内的话，一定有 \(n\) 个特征值，那么同时也应该有 \(n\) 个特征向量。那把这些特征向量全都放到一起，构成一个基会怎么样？

需要注意的是，不同特征值对应的特征向量一定线性无关。这从几何意义上来看也是很容易的。如果对于 \(\lambda_1\) 的一个特征向量 \(x_1\)，可以由一些 \(x_i\) 线性表示（这些向量线性无关），那么，用这些向量构成的基来表达 \(x_1\)，会发现，如果 \(x_i\) 们的特征值不相同，会在这组基上放缩不同的大小。于是小C发现，一个向量不能既放缩2倍又放缩3倍，甚至放缩不同的倍数。于是得证。

复数特征值

我们刚刚说过，特征值的取值是可能是复数的。

解释复数的几何意义是非常困难的，毕竟人类是三维生物。不过，可以简单看作将放缩方向“拧歪了”。因此这里不再赘述，以下默认特征值是实数。

矩阵相似

这天，小E和小C出去玩。小E带了一个风筝。他跑啊跑，风筝飞起来了。小C说，这风筝飞的好快！可是小E只看到风筝一直和自己保持不变的距离。于是，他们进行了一场激烈的探讨（？）

我们知道，用矩阵去乘一个向量，那么它会被施加相应的变换。

我们同时知道，一个向量可以从不同的角度看。

于是便有了矩阵相似：

如果左乘A和左乘B本质上对空间做了相同的变换，只不过其观测的角度不同，那么我们认为A和B是相似矩阵。

既然只是从不同角度观测同一个变换，那么这两种变换应该有一些相同的性质。

很显然，不管你怎么换角度，体积的变化大小，以及体积的瞬时变化速度不会有变化。所以有：

\[|A|=|B|\\ tr(A)=tr(B) \]

同时，我们知道，一个变换可以看作从若干个方向进行放缩。那么很显然，无论从哪个角度看，这个放缩的大小以及方向应该不会变。于是有：

\[|\lambda I-A| = |\lambda I - B|\\ \lambda_{A,i} = \lambda_{B,i} \]

不过，我们知道，这只是由于他们是同一个变换的特征。换句话说，可以用A相似于B推出这些，但是不能反推。

那么我们知道，变换是可以叠加的。于是我们有

\[A\sim B\\ A^n\sim B^n\\ f(A)\sim f(B)\\ A^{-1}\sim B^{-1}\\ A^{*}\sim B^{*} \]

这些所有命题等价

不过这里有一个特例：\(A^T\sim B^T\)

它与前面任何一个都不等价。

由于转置矩阵的几何意义过于复杂，这里不再赘述。

矩阵相似对角化

对角矩阵

对角矩阵是一个很神奇的矩阵。

我们知道，对空间所有向量左乘一个方阵，这个空间会发生一系列的变换。

或许会旋转，或许会伸缩，或许会切片……总之变化千奇百怪。

可是呢，有这样一个方阵，它引发的变换就没有那么复杂。它便是对角矩阵。

我们称，如果一个矩阵满足

1. \(a_{i,i} = \lambda_i\)
2. \(a_{i,j}=0(\forall i\neq j)\)

那么这个矩阵便称为对角矩阵。

那么这个矩阵干了什么呢？

很显然，它只是放缩了某些坐标而已。

矩阵相似对角化

前文说了相似的定义不再赘述。

如果一个矩阵A和一个对角矩阵 \(\Lambda\) 相似，我们称矩阵A可以相似对角化，以下简称为可对角化。

小E很好奇，这样的A有什么性质？

这时就要考虑相似的几何意义了。

我们知道，如果两个矩阵相似，那么两个矩阵应该是从不同角度去看同一个变换。

我们已经知道对角矩阵的几何意义是对 \(\R^n\) 空间做放缩变换。

那么，A也应该是对 \(\R^n\) 做放缩变化。

因此，A的变换不应该让空间维度缩减。即A的特征向量应当线性无关。

于是我们有了以下命题等价：

1. A可对角化
2. 存在一个对角矩阵 \(\Lambda\) 与A相似
3. A有 \(n\) 个线性无关的特征向量，也即A对空间的变换仅仅只有某些方向的放缩。

虽然小E也不知道为什么这个定理要放在这里，不过既然放在这里了就说一下吧。

定理：设 \(A,B\) 分别是 \(n\times m,m\times n,m\le n\) 的矩阵，那么下式总是成立：

\[|\lambda I-AB| = \lambda^{m-n}|\lambda I-BA| \]

由于小E没听懂代数的证明，于是他去问小C

小C说：

“你想”

“A是不是把一个 \(\R^n\) （可能A没有满秩，我们这里假设满秩）的空间映射到 \(\R^m\) 去。但是由于A的维度本来就低，那是不是实际上能够张成的空间和原本一样？”

“B是不是把一个 \(\R^m\) 的空间映射到 \(\R^n\) 去？由于 \(m\ge n\)，所以经过映射之后，有一些原本有的方向被压缩成了0。”

“那么，无论是先用A做变换再用B做变换，还是先用B做变换再用A做变换，最后得到的对空间的变换其实都是相同的。因此他们的特征向量应该是相同的。”

“不对啊小C，两个式子的基都不一样，特征向量数目都对不上啊！”

“别急，听我接着解释。”

“只不过，由于观察视角的不同，\(AB\) 的变换方法中，观察的基是 \(\R^n\) 的，而 \(BA\) 的变换方法中，观察的基是 \(\R^m\) 的。”

“打个比方，如果一个圆柱体同时可以通过 \(R=1\) 的圆环和 \(R=2\) 的圆环，那是不是说明这个圆柱体的底面半径不可能高于 \(1\)？”

“这也是同理的，空间经过两种变换得到的结果都是 \(\R^k\)（\(k=\min(r(A),r(B))\)）的。”

“那剩下的方向哪去了？被**回收了显然在变换过程中被压缩成了0无法复原。因此，公式中才出现了 \(\lambda^{m-n}\) 来表示剩下被压缩成0的特征向量。”