线性代数笔记

目录

• • 说明
    • 矩阵就是向量的映射
  • 矩阵就是向量的映射
• 矩阵就是向量的映射
  • 相似（一切的起始点）
  • 对于一个线性变换A，我们希望在某个基下简单的表示它
  • 那么，什么样的矩阵可以相似对角化
  • 关于特征向量的一些性质
  • 线性变换
  • 和正交基相关的一个trick
  • 施密特正交化
  • 正交矩阵
  • 线性方程组解的结构
  • 二次型
  • 数值算法
    • 正交基
    • LU分解
    • Jacobi方法
    • QR分解
    • 反幂法

说明

课堂教的云里雾里，非常懵，其实线性代数的思路很简单
把细节忘了都行，把思路消化

矩阵就是向量的映射

矩阵就是向量的映射

矩阵就是向量的映射

也可以看做对空间的线性变换

类似f(g(x)),多个矩阵相继变换A(B(x))简写作ABx，即\(x \rightarrow_{B} \rightarrow_{A} = ABx\)

相似（一切的起始点）

同一个线性变换，在不同的基下，是相似的
即若\(PAP^{-1} = B\),A、B相似，这步看做 :
向量x首先经过基变换\(P^{-1}\)映射到某个基下，即\(P^{-1}x\)
然后在该基下做线性变换A，即\(AP^{-1}x\)
再变换回来，即\(PAP^{-1}x\)
这与直接对x做同一个变换B，是一样的

对于一个线性变换A，我们希望在某个基下简单的表示它

对角矩阵就是非常好的表示方法，简单，正交
那么，如何找到一个良好的基变换，把某个线性变换变成对角矩阵？
假设我们有变换B，我们希望求出它在某个基下的对角矩阵A
\(PAP^{-1} = B\)即\(PA = BP\)
同时，A是一个对角矩阵

\[\left[ \begin{matrix} \lambda_1 & 0 & 0\\ 0 & \lambda_2 & 0 \\ 0 & 0 & \lambda_3 \end{matrix} \right] \]

把每一列单独拿出来看，我们就有

\(Bp_1 = \lambda_1 p_1\)
\(Bp_2 = \lambda_2 p_2\)
\(Bp_3 = \lambda_3 p_3\)

非常自然的，我们可以知道求特征值、特征向量的源起
很明显，所有特征向量组合起来就是基变换 P
同时，由\(Ap = \lambda p\)可知，特征向量就是，该线性变换下，保持方向不变的向量
特征值就是该向量在该线性变换下的伸缩倍数
实对称矩阵一定可以相似对角化

那么，什么样的矩阵可以相似对角化

1.n阶矩阵A有n个不同的特征值
2.n阶矩阵A的每个r重特征值，恰好有r个线性无关的特征向量

关于特征向量的一些性质

所有特征向量的积 = 矩阵的行列式
所有特征向量的和 = 矩阵的迹（也就是对角线的元素的和）

---

一个常见的技巧
有\(A^2 - 5A + 6E = 0\),证明A的特征值只能是2和3
有\(Ax = \lambda x\),那么\(A^2x = A * Ax = \lambda Ax = \lambda^2x\)
\((A^2 - 5A + 6E)x = 0\)
\((\lambda^2 - 5\lambda + 6)x = 0\)

---

若A可逆，A的逆的特征值为A的特征值的倒数
令f(x)为x的一个一元多项式，那么f(\(\lambda\))是f(A)的一个特征值，并且x仍是f(\(\lambda\))的特征向量

线性变换

矩阵是映射，自然就有单射、满设、一一映射

这里只关心n阶方阵，一一映射的线性变换，自然可逆，也就是拥有逆变换(逆矩阵)

秩为r意味着把整个线性空间，映射到一个r维的线性空间

和正交基相关的一个trick

和傅里叶变换类似，利用正交基的性质可以快速求分量坐标
令\(\beta = x_1 * \alpha_1 + x_2 * \alpha_2 ... + x_n + \alpha_n\)
\((\beta,\alpha_i) = (x_1 * \alpha_1 + x_2 * \alpha_2 ... + x_n + \alpha_n,\alpha_i)\)
\((\beta,\alpha_i) = x_i * (\alpha_i,\alpha_i)\)
\((\beta,\alpha_i) = x_i\)

施密特正交化

普适化的一个方法，可以对任何良定内积和范数的体系作用
\(\beta_1 = \alpha_1\)
\(\beta_2 = \alpha_2 - \frac{(\alpha_2,\beta_1)}{(\beta_1,\beta_1)} \beta_1\)

\(\beta_3 = \alpha_3 - \frac{(\alpha_3,\beta_1)}{(\beta_1,\beta_1)} \beta_1 - \frac{(\alpha_3,\beta_2)}{(\beta_2,\beta_2)} \beta_2\)

正交矩阵

\(A^T A = E\),则称A为正交矩阵
显然\(A^{-1} = A^T\)，且\(A{*}\)也是正交矩阵，且行列式为1或者-1
若A、B都是正交矩阵，那么\(AB\)也是正交矩阵
A是正交矩阵的充要条件是，A的行或者列向量是一组标准正交基

线性方程组解的结构

考虑\(Ax = 0\)
显然，解是一个线性空间，问题是怎么求出这个解的一组线性无关的基础解系

\[\left\{ \begin{aligned} x_1 +x_2 -2x_3 -x_4 = 0 \\ 3x_1- x_2 -4x_3 +5x_4 = 0 \\ 2x_1 + 4x_2 -5x_3- 6x_4 = 0 \end{aligned} \right. \]

化作阶梯形

\[\left[ \begin{matrix} 1 & 0 & -\frac{3}{2} & 1 \\ 0 & 1 & ​-\frac{1}{2} & -2 \\ 0 & 0 & 0 & 0 \end{matrix} \right] \]

那么有

\[\left\{ \begin{aligned} x_1 = \frac{3}{2}x_3 - x_4 \\ x_2 = \frac{1}{2}x_3 + 2 x_4 \end{aligned} \right. \]

任意取\((x_1,x_2) = (1,0)\),可得\((\frac{3}{2},\frac{1}{2},1,0)\)
任意取\((x_1,x_2) = (0,0)\),可得\((-1,2,0,1)\)
那么，这两个基础解任意组合即可以，组合出所有的解

---

对于\(Ax = b\),求出\(Ax = 0\)的基础解系，在此基础上添加一个特解就可以

二次型

二次型的中心问题之一就是：
对于给定的二次型\(f(x_1,...,x_n) = x^TAx\)，确定一个可逆线性变换\(x = Cy\),把二次型化为标准型
即，\(f(x_1,...,x_n) = x^TAx = (Cy)^TA(Cy) = y^T(C^TAC)y = y^TC^TACy\)
其中\(C^TAT\)是对角矩阵

---

若\(C^TAT = B\)，记A、B合同，合同是一个等价关系

---

实对称矩阵一定可以相似对角化，且正交相似于对角矩阵
此外，\(Q^TAQ = Q^{-1}AQ = diag(\lambda_1,...,\lambda_2)\)
根据这个定理，很容易求出Q，就是正交变换法，其中正交矩阵就是一个旋转变换，不改变向量的范数、夹角、内积
注意，正交变换法需要使得特征向量形成一组单位正交基

---

惯性定理：二次型的标准型不是唯一的，但是合同变换不会改变对角矩阵的秩，同时：其中正负平方项的项数是固定的
其中二次型的规范型，就是\(x_1^2 + x_2^2 - x_3^2\)这样，规范型是唯一的（很显然，没啥用）

---

正定，负定，欠定
若对于任意的x，使得\(x^TAx > 0\),那么称A是正定矩阵，可逆线性变换不改变正定性
注意如何判断正定和负定矩阵

---

应用1：判断二次曲面的类型
\(x_1^2 - 2x_2^2 + 10x_3^2 + 28x_1x_2 + 20x_1x_3 - 8x_2x_3 -26x_1 +32x_2 + 28x_3 = 38\)
化为对角矩阵：\(y_1^2+ 2y_2^2 -2y_3^2 - \frac{2}{3}y_1 + \frac{4}{3}y_2 - \frac{16}{3}y_3 = \frac{38}{9}\)
再配方得\((y_1 - \frac{1}{3})+2(y_2 + \frac{1}{3})-2(y_3 + \frac{4}{3}) = 1\)
然后按标准检索就可以发现：该曲面为单叶双曲面

---

应用2：求函数的极值
就是利用矩阵的正定性，来判断最值和极值

数值算法

正交基

正交基有很多良好的性质，可以采用施密特正交化把一个普通基变成正交基

LU分解

对矩阵做LU分解之后，可以很容易的做其他各种计算，同时运算量基本相同
LU分解的一个升级版是LUP分解，其中P是一个置换

Jacobi方法

求解实对称矩阵的所有特征值的算法

QR分解

求对称和非对称矩阵的所有特征值的算法

反幂法