线性代数学习笔记

祖传答辩学习笔记（大雾

矩阵

矩阵的迹

方阵 \(A\) 的主对角线元素之和称为 \(A\) 的迹，记作 \(\text{tr}(A)\)。

性质：

\(\text{tr}(AB) = \text{tr}(BA)\)。

证明考虑矩阵乘法的展开即可。

矩阵的秩

将矩阵看作是对 \(n\) 维空间的线性变换，变换完后的基向量张成的空间维度就是矩阵的秩。

举个例子：

\(\begin{bmatrix} 1 & 2 \\ 2 & 4 \end{bmatrix}\) 这个矩阵对于二维空间的变化相当于是把基向量变成了 \(\begin{bmatrix} 1 \\ 2 \end{bmatrix}\) 和 \(\begin{bmatrix} 2 \\ 4 \end{bmatrix}\) 而这两个向量是线性相关的，也就是说整个二维空间被压缩到了一个一维的线上，那么这个矩阵的秩就是 \(1\)。

换句话说，矩阵的秩就是列向量的维度（可以称为行秩）。

那么我们还有一个定理：矩阵的行秩等于列秩。

要证明它，我们需要知道一个定理：

• 对于一个 \(n × m\) 的矩阵 \(A\)，假设其秩为 \(r\)，则 \(A\) 可以表示为一个 \(n × r\) 的矩阵和一个 \(r × m\) 的矩阵的乘积。

这个很好理解，就是对于列向量的基，进行线性组合得到 \(m\) 个列向量。

然后我们可以把 \(A\) 表示成 \(CR\)，\(c_1, c_2,\dots,c_r\)（设其秩为 \(r\)） 是 \(A\) 的列空间的一组基，\(R\) 即为对其线性组合，也可以说 \(A\) 的行向量是 \(R\) 的行向量的线性组合，这样可以得到 \(A\) 的行秩小于等于 \(R\) 的行秩。

而 \(R\) 的行秩又小于等于 \(r\)（这是一个 \(r \times m\) 的矩阵），那么也就是说 \(A\) 的行秩小于等于 \(A\) 的列秩。

同理可证 \(A\) 的列秩小于等于 \(A\) 的列秩。

证毕。

对于性质 \(\text{rank}(AB)\le \min(\text{rank}(A),\text{rank}(B))\)。

这个可以用定义来理解，也就是一个矩阵乘法相当于是依次进行了两个线性变换，显然最后的空间维度是小于等于两次矩阵的秩的最小值的。

线性方程组

这一部分是简单的，引出了一个定义：矩阵的零空间。

• 矩阵 \(A\) 的零空间为 \(AX = 0\) 的所有解构成的空间。

对于零空间，可以这样理解，一个矩阵 \(A\) 乘上一个向量 \(x\) 得到了这个向量的一个变换，我们现在知道变换的终点就是 \(0\) 也就是说这个向量被压缩到了原点上。

那么我们找出哪些向量会被压到这里，也就是找到了所谓的 “零空间”。

由此可得：对于任意 \(n × m\) 的矩阵 \(A\)，有 \(\text{dim}\;N(A) = m − \text{rank}(A),\text{dim}\;N(A^T) = n − \text{rank}(A)\)。

这个也很自然，就是零空间的维度表示若干个维度的信息被压缩到了原点，而矩阵的秩就是一个线性变化后的维度，那么相比于原来 \(m\) 维空间，少的维度哪里去了？显然就是到了零空间。

逆矩阵

讲解一个性质：\((AB)^{−1}= B^{−1}A^{−1}\)。

用线性变换的角度去考虑，也就是依次进行了 \(A\) 和 \(B\) 这两个变换，然后想要撤销其影响，要么是直接乘上这整个变换的逆矩阵，要么是原路返回，先撤销 \(B\)，再撤销 \(A\)，因为矩阵是没有交换律的。

行列式

许多基本性质：

1. 若一行有公因子，可以提出。

\[ \begin{vmatrix} \vdots & \vdots & \ddots & \vdots \\ ka_{i,1} & ka_{i,2} & \cdots & ka_{i,n} \\ \vdots & \vdots & \ddots & \vdots \end{vmatrix} =k \begin{vmatrix} \vdots & \vdots & \ddots & \vdots \\ a_{i,1} & a_{i,2} & \cdots & a_{i,n} \\ \vdots & \vdots & \ddots & \vdots \end{vmatrix} \]

由此得到：

\[ \begin{vmatrix} \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \end{vmatrix} =0 \]

2. 行列式中的两行（列）互换，改变行列式正负符号。

\[ \begin{vmatrix} \vdots & \vdots & \ddots & \vdots \\ a_{i,1} & a_{i,2} & \cdots & a_{i,n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{j,1} & a_{j,2} & \cdots & a_{j,n} \\ \vdots & \vdots & \ddots & \vdots \end{vmatrix} =- \begin{vmatrix} \vdots & \vdots & \ddots & \vdots \\ a_{j,1} & a_{j,2} & \cdots & a_{j,n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{i,1} & a_{i,2} & \cdots & a_{i,n} \\ \vdots & \vdots & \ddots & \vdots \end{vmatrix} \]

考虑一次对换改变奇偶性，这个可以把一次对换分解成 \(2k+1\) 次邻项交换得到。

3. 在行列式中，某一行（列）的每个元素是两数之和，则此行列式可拆分为两个相加的行列式。

\[ \begin{aligned} & \begin{vmatrix} a_{1,1} & a_{1,2} & \cdots & a_{1,n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{i,1}+b_{i,1} & a_{i,2}+b_{i,2} & \cdots & a_{i,n}+b_{i,n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{n,1} & a_{n,2} & \cdots & a_{n,n} \end{vmatrix} \\ = & \begin{vmatrix} a_{1,1} & a_{1,2} & \cdots & a_{1,n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{i,1} & a_{i,2} & \cdots & a_{i,n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{n,1} & a_{n,2} & \cdots & a_{n,n} \end{vmatrix} + \begin{vmatrix} a_{1,1} & a_{1,2} & \cdots & a_{1,n} \\ \vdots & \vdots & \ddots & \vdots \\ b_{i,1} & b_{i,2} & \cdots & b_{i,n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{n,1} & a_{n,2} & \cdots & a_{n,n} \end{vmatrix} \end{aligned} \]

4. 在行列式中，有两行（列）对应成比例或相同，则此行列式的值为 \(0\)。

我们设这个行列式为 \(D\)，交换那两行后得到 \(-D\)（根据性质 2），那么 \(D = -D\)，所以 \(D = 0\)。

成比例的话只需要利用性质 1 把比例系数提出即可。

5. 将一行（列）的 \(k\) 倍加进另一行（列）里，行列式的值不变。

\[ \begin{vmatrix} \vdots & \vdots & \ddots & \vdots \\ a_{i,1} & a_{i,2} & \cdots & a_{i,n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{j,1} & a_{j,2} & \cdots & a_{j,n} \\ \vdots & \vdots & \ddots & \vdots \end{vmatrix} = \begin{vmatrix} \vdots & \vdots & \ddots & \vdots \\ a_{i,1} & a_{i,2} & \cdots & a_{i,n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{j,1}+ka_{i,1} & a_{j,2}+ka_{i,2} & \cdots & a_{j,n}+ka_{i,n} \\ \vdots & \vdots & \ddots & \vdots \end{vmatrix} \]

根据性质 4 可得。

6. 将行列式的行列互换，行列式的值不变。

拉普拉斯展开

\[|A|=\sum_{j=1}^{n} (-1)^{i+j}|A[R\setminus\{i\},C\setminus \{j\}]|A_{i,j} \]

就是任选一行，\(A\) 的行列式等于每个元素，乘上其代数余子式的和。

证明的话实际上是行列式定义中的计算方法的展开。

三角矩阵的行列式

对于上三角矩阵或下三角矩阵，其行列式等于其对角线元素乘积。

范德蒙矩阵的行列式

\[ V= \begin{bmatrix} 1&a_{1}&a_{1}^{2}&\cdots &a_{1}^{n-1}\\ 1&a_{2}&a_{2}^{2}&\cdots &a_{2}^{n-1}\\ 1&a_{3}&a_{3}^{2}&\cdots &a_{3}^{n-1}\\ \vdots &\vdots &\vdots &\ddots &\vdots \\ 1&a_{n}&a_{n}^{2}&\cdots &a_{n}^{n-1}\\ \end{bmatrix} \]

\[\det(V)=\prod_{1\le i < j\le n} (a_j-a_i) \]

证明：

考虑把每一列减去前一列的 \(a_1\) 倍。

\[ V'= \begin{bmatrix} 1&0&0&\cdots &0\\ 1&a_{2}-a_{1}&a_{2}(a_2-a_1)&\cdots &a_2^{n-2}(a_{2}-a_1)\\ 1&a_{3}-a_{1}&a_{3}(a_3-a_1)&\cdots &a_{3}^{n-2}(a_3 - a_1)\\ \vdots &\vdots &\vdots &\ddots &\vdots \\ 1&a_{n}-a_1&a_{n}(a_n - a_1)&\cdots &a_{n}^{n-2}(a_n - a_1)\\ \end{bmatrix} \]

对于第一行拉普拉斯展开一下，发现只要计算 \(a_{1,1}\) 乘上其余子式即可。

余子式的计算可以利用行列式的性质提出每一行的公因子，发现是一个递归的形式。

克莱姆法则

对于线性非齐次线性方程组 \(Ax=b\)，若系数矩阵 \(A\) 可逆，则其有唯一解
$$x_j=\frac{D_j}{D}$$
其中 \(D\) 表示 \(\det(A)\)，\(D_j\) 表示将 \(A\) 的第 \(j\) 列换成 \(b\) 的行列式。

证明：
将 \(A\) 表示成列向量组的形式 \(A=(u_1,u_2,\ldots,u_n)\)。

\[ \begin{aligned} D_j &=\det(\ldots,u_{j-1},b,u_{j+1},\ldots) &(a)\\ &=\det(\ldots,u_{j-1},\sum\limits_{k=1}^{n}x_ku_k,u_{j+1},\ldots) &(b)\\ &=\sum\limits_{k=1}^{n} x_k\det(\ldots,u_{j-1},u_k,u_{j+1},\ldots) &(c)\\ &=x_j\det(\ldots,u_{j-1},u_j,u_{j+1},\ldots) &(d)\\ &=x_jD \\ \end{aligned} \]

\((c) \rightarrow (d)\) 的过程考虑当 \(k \not = j\) 的时候根据行列式基本性质得到答案一定是 \(0\)。

伴随矩阵

对于一个 \(n\) 阶方阵 \(A\)，其伴随矩阵就是每个位置的代数余子式构成的矩阵，记为 \(A^*\)。

上海森堡矩阵

可以在 \(O(n^2)\) 的时间内求出行列式。

设 \(f_i\) 表示后 \(i\) 行 \(i\) 列的行列式，对于第 \(i\) 行拉普拉斯展开可得一个递归的形式，即可求解。

\[ \begin{aligned} f_i &= a_{i,i}f_{i+1}-a_{i,i+1}a_{i+1,i}f_{i+2}+a_{i,i+2}a_{i+1,i}a_{i+2,i+1}f_{i+3}-\cdots \\ &= \sum_{j=i}^{n} (-1)^{j-i}a_{i,j}f_{j+1}\prod_{k=i+1}^{j} a_{k,k-1} \end{aligned} \]

矩阵的相似

若 \(B=U^{-1}AU\) 则称 \(A\) 与 \(B\) 相似，记作 \(A\sim B\)。

同理可得 \(B^k=U^{-1}A^kU\)，展开式子即可。

对于两个相似矩阵，他们的秩，迹，行列式均相等。

若方阵 \(A\) 相似于一个对角矩阵 \(D\)，即

\[ A=U^{-1} \begin{bmatrix} \lambda_1 & 0 & \cdots & 0 \\ 0 & \lambda_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \lambda_n \\ \end{bmatrix} U \]

则称 \(A\) 可对角化，称 \(D\) 是 \(A\) 的对角标准型。

矩阵 \(A\) 与对角矩阵 \(D\) 相似，即 \(A=UDU^{-1}\)，等价于 \(AU=UD\) 且 \(U\) 可逆：

\[ A \begin{bmatrix} \alpha_1 & \alpha_2 & \cdots & \alpha_n \end{bmatrix} = \begin{bmatrix} \alpha_1 & \alpha_2 & \cdots & \alpha_n \end{bmatrix} \begin{bmatrix} \lambda_1 & 0 & \cdots & 0 \\ 0 & \lambda_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \lambda_n \\ \end{bmatrix} \]

其中 \(\alpha_1,\alpha_2,\ldots,\alpha_n\) 线性无关。
根据上述式子，我们发现有 \(A\alpha_i=\lambda_i\alpha_i\)。

由此映入一个概念，特征值和特征向量。

上面的 \(\lambda\) 实际上就是 \(\alpha\) 这个向量在乘上 \(A\) 后的等价变换。

不难发现不是所有的向量都有特征值，只有那些变换后只改变了长度的向量才有特征值。

这种特征向量是属于某些特征值的。

上面我们知道 \(A\alpha = \lambda I \alpha\)，也就是 \((\lambda I - A)\alpha = 0\)。

根据齐次线性方程组的解，我们知道 \(\lambda\) 是 \(A\) 的特征值当且仅当 \(\det(\lambda I - A) = 0\)，\(\alpha\) 是属于 \(\lambda\) 的特征向量当且仅当 \(\alpha\) 是 \((\lambda I-A)x=0\) 的非零解。

特征多项式

\[p_A(x) = \det(xI - A) \]

称为 \(A\) 的特征多项式。

朴素的求解特征多项式需要用到拉格朗日插值，时间复杂度是 \(O(n^4)\) 的。

我们给出一个定理：

设有矩阵 \(A,B\)。若 \(A\sim B\)，那么有

\[p_A(x)=p_B(x) \]

证明的话，考虑一个单位矩阵是可以和任意一个同阶方阵交换顺序的。

\[ \begin{aligned} p_B(x) & =|xI-B| \\ & =|xI-U^{-1}AU| \\ & =|U^{-1}(xI-A)U| \\ & =|U^{-1}||xI-A||U| \\ & =|xI-A|=p_A(x) \end{aligned} \]

那么我们可以利用相似矩阵，构造一个 \(U^{-1}AU\) 的矩阵来进行初等行变换和列变换。使用高斯消元法会得到一个上海森堡矩阵，那么可以按照上面的求出。总时间复杂度 \(O(n^3)\)。

零化多项式与线性递推

设 \(A\) 是一个 \(n\) 阶方阵。若一个非零多项式 \(f(x)\) 满足 \(f(A)=0\)，则称 \(f\) 是 \(A\) 的零化多项式。

显然，\(A\) 的特征多项式就是其零化多项式。

零化多项式中最高次项次数最小的称为最小多项式，那么显然最小多项式的次数不会超过 \(n\)，因为特征多项式的次数就是 \(n\) 次。

求最短线性递推式

BM 咕咕。

常系数齐次线性递推

有一个线性递推数列 \(\{a_0,a_1,a_2,\ldots\}\) 满足线性递推式 \(\{r_0,r_1,\ldots,r_{m-1}\}\)，给定 \(n\ge 0\)，求 \(a_n\)。

举个最简单的例子，\(f_i = f_{i - 1} + f_{i-2}\)，\(f_0 = f_1 = 1\)，也就是斐波那契数列，是最简单的常系数齐次线性递推的例子，齐次的意思就是不能有常数项。

要想理解这个算法，推荐阅读这篇博客，他揭示了多项式取模的本质就是不断在把最高此项展开，那么只要计算 \(f(x) = x^n \bmod p_A(x)\)。然后用其系数乘上 \(r_i\) 即可。

然后的问题在于如何求出 \(p_A(x)\)。

考虑 \(xI-A\) 的形式：

\[ \begin{bmatrix} x & 0 & \cdots & 0 & r_{m-1} \\ -1 & x & \cdots & 0 & r_{m-2} \\ 0 & -1 & \cdots & 0 & r_{m-3} \\ \vdots & \vdots & \ddots & \vdots & \vdots \\ 0 & 0 & \cdots & -1 & x+r_{1} \end{bmatrix} \]

那么设 \(f_i\) 表示右下角大小为 \(i\times i\) 的行列式，可得 \(f_i=f_{i-1}x+r_i\)，证明考虑拉普拉斯展开即可。