特征值和特征向量

Something still can not be understood

对角化（Diagonalization）

特征值和特征向量（Eigenvalue and Eigenvector）

对于矩阵 \(A\)，数 \(\lambda\)，向量 \(v\) 满足 \(Av=\lambda v\)，称 \(\lambda\) 为 \(A\) 的 特征值，\(v\) 为 \(A\) 的 特征向量。

找特征值和特征向量

\[\begin{align*} Av =\lambda v \\ (A-\lambda I)v &=0 \\ N(A-\lambda I) &\neq 0\\ \det(A-\lambda I) &=0 \end{align*} \]

\(\det(A-\lambda I)\) 可以看作一个关于 \(\lambda\) 的多项式，被称为 \(A\) 的 特征多项式。

根据代数基本定理，任意一个 \(n\) 次多项式存在 \(n\) 个复根。故

\[\det(A-\lambda I)=c\prod_{i=1}^{n}(\lambda_i-\lambda) \]

通过比较 \(\lambda^{n}\) 项的系数，我们可以确定 \(c=1\)，即：

\[\det(A-\lambda I)=\prod_{i=1}^{n}(\lambda_i-\lambda) \]

通过该等式得出的结论

将等式两边展开：

\[\det(A-\lambda I)={(-\lambda)}^n+(\sum_{i=1}^n a_{i,i}){(-\lambda)}^{n-1}+\cdots+\det(A)({-\lambda}^0) \]

\[\prod_{i=1}^n (\lambda_i-\lambda)={(-\lambda)}^n+(\sum_{i=1}^n \lambda_i){(-\lambda)}^{n-1}+\cdots+(\prod_{i=1}^n \lambda_i)({-\lambda}^0) \]

故

\[\begin{align*} &\sum_{i=1}^n a_{i, i}=\sum_{i=1}^n \lambda_i \\ &\det(A)=\prod_{i=1}^{n} \lambda_i \end{align*} \]

其中 \(\sum_{i=1}^n a_{i, i}\) 被称为矩阵的迹（trace）。

我们可以通过对 \(\det(A-\lambda I)\) 因式分解找到所有 \(n\) 个 \(\lambda\)，其中可能有重根。

对每个不同的特征值 \(\lambda_i\)，它可以导出的特征向量属于 \(N(A-\lambda_i I)\)，它被称为 \(\lambda_i\) 的 特征子空间。

特征子空间

记不同的特征值集合（the set of distinct eigenvalue）为 \(S\)。

\[\det(A-\lambda I)=\prod_{\lambda_i\in S} (\lambda_i-\lambda)^{n_i} \]

\(n_i\) 被称为 \(\lambda_i\) 的 代数重数，即特征值在特征多项式作为重根出现的次数。

同时，\(\dim N(A-\lambda_i I)\) 被称为 \(\lambda_i\) 的 几何重数，即特征值对于特征子空间的维数。

性质 1：特征值的几何重数小于代数重数。

性质 2：不同特征值对于的特征子空间线性无关

性质 2 证明

构造向量 \(V=[c_1v_1,c_2v_2,\cdots c_kv_k]\)，其中 \(v_i\) 表示由 \(\lambda_i\) 导出的特征向量，\(\lambda_i\) 两两不同。\(c_i\) 不全为 \(0\)。

假设 \(v_i\) 线性相关，则存在一个 \(V\) 满足

\[V\begin{bmatrix}1\\1\\\vdots\\1\end{bmatrix}=0 \]

则

\[A^tV\begin{bmatrix}1\\1\\\vdots\\1\end{bmatrix}=V\begin{bmatrix}\lambda_1^t\\\lambda_2^t\\\vdots\\\lambda_k^t\end{bmatrix}=0 \]

则

\[V \begin{bmatrix} 1 & \lambda_1^1 & \lambda_1^2 & \cdots & \lambda_1^{k-1} \\ 1 & \lambda_2^1 & \lambda_2^2 & \cdots & \lambda_2^{k-1} \\ \vdots & \vdots & \vdots & & \vdots \\ 1 & \lambda_k^1 & \lambda_k^2 & \cdots & \lambda_k^{k-1} \end{bmatrix}=0 \]

因为 \(\lambda_i\) 互不相同，所以右乘 \(V\) 的范德蒙矩阵是可逆的。故 \(V=0\)。这说明 \(c_i\) 全为 \(0\)。导出矛盾。故证明 \(v_i\) 线性无关。

对角化过程

结合特征子空间的性质，可以得到矩阵 \(A\) 可对角化的条件为 对于每个不同的特征值，它的几何重数等于代数重数。

我们找到 \(n\) 个线性无关的特征向量 \(v_1, v_2, \cdots, v_n\)。

构造矩阵 \(S=[v_1,v_2,\cdots,v_n]\)。

得到

\[AS=S\Lambda \]

其中 \(\Lambda\) 是一个由每个特征向量对应特征值构成的对角矩阵。整理得：

\[A=S\Lambda S^{-1} \]

完成对 \(A\) 的对角化。又称 \(A\) 的特征值分解。

复矩阵

由于特征值可能是复数，谈论特征值分解等操作时会涉及到复矩阵。

复数 introduction

\(z=a+bi\)

\(a=\Re(z)\)，被称为 \(z\) 的实部，\(b=\Im(z)\)，被称为 \(z\) 的虚部。

\(z\) 的共轭 \(\bar z=a-bi\)，相当于复平面上沿实轴镜像对称。

由此共轭有性质：

\[\overline {z_1\times z_2}=\bar z_1\times \bar z_2 \\ \overline {z_1+z_2}=\bar z_1+ \bar z_2 \]

欧拉公式：\(e^{i\theta}=\cos\theta+i\sin\theta\)

复数模长：

\(|z|=\sqrt{a^2+b^2}=\sqrt{\bar z\times z}\)

共轭转置和厄米矩阵（Conjugate Transpose and Hermite Matrices）

共轭转置

实向量模长由内积导出，形如 \(|v|=\sqrt{v^Tv}\)。

扩展到复数域时，为了保证模长仍然是非负实数，我们考虑引入共轭转置。定义矩阵 \(A\) 的共轭转置 \(A^H\)：

\[A^H(i,j)=\overline{A(j, i)} \]

实矩阵的共轭转置就是其转置，该定义具有良好的兼容性。

同时共轭转置也满足一系列转置的性质：

\[\begin{align*} {(A^H)}^H&=A \\ {(AB)}^H&=B^HA^H \\ {(A^{-1})}^H&={(A^H)}^{-1} \end{align*} \]

厄米矩阵

满足 \(A^H=A\) 的矩阵 \(A\) 被称为厄米矩阵。

性质 1：对于复向量 \(x\)，\(x^HAx\) 是实数。

性质 1 证明

\({(x^HAx)}^H=x^HA^Hx=x^HAx\)

故 \(\Im(x^HAx)=0\)。

性质 2：\(A\) 的特征值是实数。

性质 2 证明

\[\begin{align*} Ax&=\lambda x \\ x^HAx&=\lambda x^Hx \\ \lambda&=\frac{x^HAx}{x^Hx} \end{align*} \]

分式上下都是实数，故 \(\lambda\) 为实数。

性质 3：\(A\) 的不同特征子空间相互正交。

性质 3 证明

设 \(\lambda_1 \neq \lambda_2\)，\(Ax_1=\lambda_1x_1, Ax_2=\lambda_2x_2\)。

\(\lambda_1x_1^Hx_2={(Ax_1)}^Hx_2=x_1^HAx_2=\lambda_2 x_1^Hx_2\)

即 \(\lambda_1 x_1^Hx_2=\lambda_2 x_1^Hx_2\)。又 \(\lambda_1 \neq \lambda_2\)，故 \(x_1^Hx_2=0\)。

酉矩阵（Unitary Matrices）

酉矩阵即标准正交的复矩阵。

\[U^HU=I \]

\[(Ux)^HUy=xU^HUy=x^Hy \]

可以看到酉矩阵具有和标准正交矩阵类似的性质：转置和自身互逆，对应的线性变换保持内积、模长不变。

由酉矩阵变换保持模长，我们可以得到酉矩阵特征值模长为 \(1\)。

性质：酉矩阵不同特征子空间相互正交。

证明

类似厄米矩阵中该性质的证明。

\(\lambda_2 x_1^Hx_2=x_1^H(Ux_2)=(U^Hx_1)^Hx_2=(\frac{1}{\lambda_1}x_1)^Hx_2=\lambda_1x_1x_2\)

相似矩阵（Similar Matrices）

对矩阵 \(A\)，若另一矩阵 \(B=MAM^{-1}\)，则 \(A\) 与 \(B\) 相似。

相似是一种等价关系（满足反身，对称，传递）。

感性理解

与 \(A\) 相似的矩阵 \(B\) 可以看作线性变化 \(T_A\) 在新基下的矩阵表示。

\[A=MBM^{-1} \]

设 \(A\) 对应的基为 \(\mathcal{A}\)，\(B\) 对应的基为 \(\mathcal{B}\)。

\(M_i={[\mathcal{B}_i]}_{\mathcal{A}}\)。这一步通常是可以自然写出的。

通过考虑 \(MM^{-1}I=I\) 则有 \(M_{i}^{-1}={[\mathcal{A}_i]}_{\mathcal{B}}\)

我们可以通过相似矩阵理解矩阵的对角化（特征值分解）。

舒尔引理（Schur Lemma）

任意复矩阵可以通过酉矩阵相似于上（下）三角矩阵。

即，对于任意 \(A\)，可以找到酉矩阵 \(U\)，使得 \(A=UTU^{-1}\)，并满足 \(T\) 是上三角阵。将上述命题中的上三角换成下三角，命题也成立。

证明

私は紅い薔薇の姫よ 優しくさらわれたい

そっと囁いて意味ありげに目をそらす

あなたは白い月の騎士(ナイト) 触れた手がまだ熱い

谱分解定理（Spectral Theorem）

任意厄米矩阵可以通过酉矩阵对角化。

形式化的，\(A=U\Lambda U^{-1}\) 或 \(A=U\Lambda U^{H}\)。

证明

由舒尔引理，$A=UTU^{H}$。

\(A^H={(UTU^H)}^H=UT^HU^H\)

又 \(A=A^H\)。故

\[\begin{align*} UTU^H&=UT^HU^H \\ T&=T^H \end{align*} \]

故 \(T=\Lambda\)。即 \(T\) 为对角阵。

正规矩阵（Normal Matrices）

可以通过酉矩阵对角化的矩阵被称为正规矩阵。即可以写成 \(N=U\Lambda U^H\) 的矩阵。

定理：

\(N\) 为正规矩阵当且仅当 \(NN^H=N^HN\)。

证明

Part 1：\(N\) 是正规矩阵 \(\to\) \(NN^H=N^HN\)

\[\begin{align*} N=U\Lambda U^H,&\ N^H=U\Lambda^HU^H \\ NN^H&=U\Lambda\Lambda^HU^H \\ N^HN&=U\Lambda^H\Lambda U^H \end{align*} \]

由于 \(\Lambda\) 为对角阵，故 \(\Lambda\Lambda^H=\Lambda^H\Lambda\)

part 2：\(NN^H=N^HN\) \(\to\) \(N\) 是正规矩阵

由舒尔引理，\(N=UTU^H\)，\(T=U^HNU\)

\(TT^H=U^HNN^HU=U^HN^HNU=T^HT\)

讨论呢可知 \(T(i,j)=0(i\neq j)\)。