【深度学习数学基础：线性代数】4. 线性空间及线性映射：4.1 定义

4. 特征值特征向量

4.1 定义

设 \(\boldsymbol{A}\) 是 \(n\) 阶方阵，如果数 \(\lambda\) 和 \(n\) 维非零列向量 \(\boldsymbol{x}\) 使关系式 \(\boldsymbol{A} \boldsymbol{x} = \lambda \boldsymbol{x}\) 成立，则称 \(\lambda\) 为矩阵 \(\boldsymbol{A}\) 的特征值，非零向量 \(\boldsymbol{x}\) 为 \(\boldsymbol{A}\) 对应于特征值 \(\lambda\) 的特征向量。很明显，若\(\lambda\)和\(\boldsymbol{x}\)分别是特征值和特征向量，那么\(a\boldsymbol{x}\)（\(a\)是一个数）也一定是特征向量。

设 \((\boldsymbol{A} - \lambda \boldsymbol{I}) \boldsymbol{x} = \boldsymbol{0}\)（其中 \(\boldsymbol{x}\) 是非零列向量），那么此时一定有 \(|\boldsymbol{A} - \lambda \boldsymbol{I}| = 0\)，这一式子也被称为特征多项式。使得 \(|\boldsymbol{A} - \lambda \boldsymbol{I}| = 0\) 的 \(\lambda\) 取值就是 \(\boldsymbol{A}\) 的特征值，\(\lambda\) 对应的 \(\boldsymbol{x}\) 为特征向量。

特征值有可能是多重的，特征向量相互之间总是线性不相关（假设有特征值\(\lambda_1\)对应特征向量\(\boldsymbol{x}_1\)，特征值\(\lambda_2\)对应特征向量\(\boldsymbol{x}_2\)，且\(\lambda_1\ne\lambda_2\)，则\(\boldsymbol{x}_1,\boldsymbol{x}_2\)就是线性不相关（无关）的）。所有特征值构成的集合 \(\sigma(\boldsymbol{A}) = \{\lambda_1, \lambda_2, \cdots, \lambda_n\}\) 称为矩阵的谱，所有特征值绝对值的最大值称为谱半径：

\[\rho(\boldsymbol{A}) = \max\{|\lambda| : \lambda \in \sigma(\boldsymbol{A})\} \]

若存在非零向量 \(\boldsymbol{x}\) 使得 \(\boldsymbol{x}^T \boldsymbol{A} = \lambda \boldsymbol{x}^T\) 成立，则 \(\boldsymbol{x}\) 称为 \(\boldsymbol{A}\) 的左特征向量（left eigenvector），标准形式的特征向量也称为右特征向量（right eigenvector）。

设 \(\boldsymbol{A} = \boldsymbol{\begin{pmatrix}3 & -1 \\ -1 & 3\end{pmatrix}}\)，其对应的特征多项式为：

\[|\boldsymbol{A} - \lambda \boldsymbol{I}| = \left| \boldsymbol{\begin{pmatrix}3-\lambda & -1 \\ -1 & 3-\lambda\end{pmatrix}} \right| = (3-\lambda)^2 - 1 = 8 - 6\lambda + \lambda^2 = (4-\lambda)(2-\lambda) = 0 \]

所以 \(\lambda_1 = 2\)，\(\lambda_2 = 4\)。

对于 \(\lambda_1 = 2\) 时，特征向量应满足：

\[\boldsymbol{\begin{pmatrix}3-2 & -1 \\ -1 & 3-2\end{pmatrix}} \boldsymbol{\begin{pmatrix}x_1 \\ x_2\end{pmatrix}} = \boldsymbol{\begin{pmatrix}0 \\ 0\end{pmatrix}} \]

此时有 \(\boldsymbol{p}_1 = \boldsymbol{\begin{pmatrix}1 \\ 1\end{pmatrix}}\)（\(k \boldsymbol{p}_1\) 均为特征向量，其中 \(k\) 为非零常数）。

对于 \(\lambda_2 = 4\) 时，特征向量应满足：

\[\boldsymbol{\begin{pmatrix}3-4 & -1 \\ -1 & 3-4\end{pmatrix}} \boldsymbol{\begin{pmatrix}x_1 \\ x_2\end{pmatrix}} = \boldsymbol{\begin{pmatrix}0 \\ 0\end{pmatrix}} \]

此时有 \(\boldsymbol{p}_2 = \boldsymbol{\begin{pmatrix}-1 \\ 1\end{pmatrix}}\)（\(k \boldsymbol{p}_2\) 均为特征向量，其中 \(k\) 为非零常数）。