线性代数预习笔记

线性方程组解的结构

\(A\)\(m\times n\)实矩阵,则 \(r(A)=r(A^TA)=r(AA^T),N(A)=N(A^TA),C(A)=C(AA^T)\)

证明 \(C(A)=C(AA^T)\):只需证明若 \(\vec b\in C(A)\),则 \(AA^T\vec y=\vec b\) 有解。
\(r(AA^T,\vec b)\ge r(AA^T),\vec b=A\vec x\Rightarrow r(AA^T,\vec b)=r(AA^T,A\vec x)\le r(A),r(AA^T)=r(A)\)
所以 \(r(AA^T,\vec b)=r(AA^T)\)

\(A\)\(m\times n\) 型任意矩阵,则 \(N(A)\subseteq N(BA)\), 当 \(B\) 列满秩等号成立,\(C(AB)\subseteq C(A)\)\(B\) 行满秩等号成立。

左乘列满秩不改变矩阵的秩,右乘行满秩不改变矩阵的秩。

向量的内积与度量

\((\vec \alpha,\vec \beta)^2\le(\vec \alpha,\vec \alpha)\cdot(\vec \beta,\vec \beta)\)

正交基与正交矩阵

任意正交向量组线性无关。

\(\vec\alpha\)标准正交基 \(\vec\varepsilon_1,\vec\varepsilon_2,\cdots,\vec\varepsilon_n\) 下的坐标为:\(\forall j,x_j=(\alpha,\vec\varepsilon_j)\)

还是 标准正交基,设 \(\vec\alpha=(\vec\varepsilon_1,\vec\varepsilon_2,\cdots,\vec\varepsilon_n)\vec X,\vec\beta=(\vec\varepsilon_1,\vec\varepsilon_2,\cdots,\vec\varepsilon_n)\vec Y\),则 \((\vec\alpha,\vec\beta)=\vec X^T\vec Y\)

正交矩阵的乘积还是正交矩阵。

施密特正交化要求输入的 \(s\) 个向量:\(s\le n\),所有向量非零,且线性无关

QR 分解:\(Q=(\vec\gamma_1,\vec\gamma_2,\cdots,\vec\gamma_n),R\) 是上三角:\(R_{i,i}=|\vec\beta_i|,R_{j,i}=\frac{(\vec\alpha_i,\vec\beta_j)}{|\vec\beta_j|}(j<i)\)

列满秩都可以做 QR 分解,不一定要是正交矩阵。因为只要输入的 \(s\) 个向量线性无关即可。

欧式空间中的正交性

\(\vec\eta_1,\vec\eta_2,\cdots,\vec\eta_n\) 是子空间 \(W\) 的一组正交基,则计算 \(\vec\alpha\)\(W\) 的投影,可以用 \(\sum_{i=1}^n\frac{(\vec\alpha,\vec\eta_i)}{(\vec\eta_i,\vec\eta_i)}\vec\eta_i\)

若向量都是 \(n\) 维的,则 \(\dim W+\dim W^⊥=n\)

\(\vec v\)\(C(A^T),N(A)\) 中的正交分解,其中 \(A\) 是任意实矩阵。
解:\(A\vec v=A\vec v_r+A\vec v_n=A\vec v_r\)。所以令 \(A\vec v=\vec b,\vec x=\vec v_r\),问题转化为求 \(A\vec x=\vec b,\vec x\in C(A^T)\) 的解。
因为 \(C(A)=C(AA^T)\),所以 \(\vec b\in C(A)\Rightarrow\vec b\in C(AA^T)\),那么 \(AA^T\vec y=\vec b\) 有解,把它解出来,再令 \(\vec x=A\vec y\) 即可。
证明 \(\vec x\) 的唯一性:设 \(A\vec \alpha=A\vec \beta=\vec b\),且两个都在 \(C(A^T)\) 里面,那么 \(\vec\alpha-\vec\beta\)\(N(A),C(A^T)\) 的相交部分,也就是 \(\vec 0\)

最小二乘问题

也就是求 \(\vec b\)\(C(A)\) 里的投影 \(\vec\beta\)。因为要求 \(\vec\beta\in C(A)\),所以设 \(\vec\beta=A\vec x_0\),由 \(\vec b-\vec \beta\)\(C(A)\) 正交,可得 \(A^T(\vec b-\vec \beta)=\vec 0\),所以 \(A^TA\vec x_0=A^T\vec b\)
你说它为什么一定有解?\(r(A^TA,A^Tb)\le r(A^T)=r(A),r(A^TA,A^Tb)\ge r(A^TA)=r(A)\)
复习一下 \(r(A^TA)=r(AA^T)=r(A)\),就知道 \(r(A^TA,A^Tb)=r(A^TA)\) 了。

\(P=A(A^TA)^{-1}A^T\)正交投影矩阵,前提是 \(A^TA\) 可逆,也就是 \(A\) 得列满秩。

\(P^2=P,P^T=P\),因为投影两次不变,以及 \(A^TA\) 是对称阵。

\(I=P+P_{W^\bot}\)

若令 \(A=QR\),则 \(P_{C(A)}=QQ^T\)。(注意 \(Q,R\) 都是可逆的。)

注意这里 \(QQ^T\) 不一定是 \(I\) !!

投影阵的定义:方阵 \(P\) 满足 \(P^2=P^T=P\)。若满足这个定义,则 \(N(P)=C(I-P),N(I-P)=C(P)\)

特征值与特征向量

\(f_A(\lambda)=|\lambda I_n-A|\),则 \(\sum_{i=1}^n\lambda_i=\text{tr}A,\prod_{i=1}^n\lambda_i=|A|\)
证明:由行列式的 \(2^n\) 加和形式,\([\lambda^0]=(-1)^n|A|,[\lambda^{n-1}]=-\text{tr}(A)\)
同时根据韦达定理,\([\lambda^0]=(-1)^n\prod_{i=1}^n\lambda_i,[\lambda^{n-1}]=-\sum_{i=1}^n\lambda_i\)

\(\lambda_0\)\(A\) 的特征值,且 \(\vec x_0\) 为对应的特征向量,则:

  • \(g(\lambda_0)\)\(g(A)\) 的特征值,\(\vec x_0\) 为对应的特征向量,其中 \(g\) 是任意多项式。
  • \(g(A)=0\),则 \(g(\lambda_0)=0\)
  • \(f_A(A)=0\)
  • \(A\) 可逆,则 \(\lambda_0^{-1}\)\(A^{-1}\) 的特征值,\(\lambda_0^{-1}|A|\)\(A^*\) 特征值,对应特征向量是 \(\vec x_0\)

\(A\) 的每个特征值下随便抓一些特征向量,再全部混合起来,还是线性无关。前提是特征值要两种以上

相似矩阵与对角化

\(A,B\) 是同阶方阵,\(P^{-1}AP=B\Rightarrow A\sim B\)

\(A\sim B\) 则:

  • \(g(A)\sim g(B),A^{-1}\sim B^{-1}\)
  • \(r(A)=r(B)\)
  • \(A,B\) 的特征多项式,特征值,\(\text{tr},\det\) 都相同。
  • 但是有相同特征值的矩阵不一定相似,有相同特征多项式的矩阵也不一定相似。
  • \(A:\lambda_0,\vec x_0\),则 \(B:\lambda_0,P^{-1}\vec x_0\)

\(P^{-1}AP=\Lambda\),则 \(A^k=P\Lambda^kP^{-1}\),其中 \(\Lambda\) 是对角阵。

\(A\) 可对角化的充要条件:有 \(n\) 个线性无关的特征向量。

注意使用 \(\text{tr},\det\) 来判断特征向量的性质。

\(\forall m_i\le n_i\)

任意矩阵 \(A\) 都可以:\(P^{-1}AP=T\),其中 \(T\) 是上三角阵。

实对称阵的正交对角化

\(A\) 为实对称阵,则:

  • \(A\) 的特征值都是实数。
  • \(A:\lambda_1,\vec x_1\)\(A:\lambda_2,\vec x_2(\lambda_1\ne \lambda_2)\)\(\vec x_1\bot \vec x_2\)
  • 存在正交阵 \(Q\) 使得 \(Q^{-1}AQ=Q^TAQ\) 为对角阵。

\(Q\):把每个特征值下的一组基分别标准正交化。

实对称阵的正定性

\(\vec\alpha_1,\vec\alpha_2,\cdots,\vec\alpha_n\) 为一组基,则 \(A_{i,j}=(\vec\alpha_i,\vec\alpha_j)\) 称作度量矩阵。

\(A\)实对称矩阵,若 \(\forall \vec x\ne \vec 0\),有 \(\vec x^TA\vec x>0\),则 \(A\) 为正定矩阵。

\(\vec\alpha_i,\vec\beta_i\) 为两组基,且 \((\vec\beta_1,\vec\beta_2,\cdots,\vec\beta_n)=(\vec\alpha_1,\vec\alpha_2,\cdots,\vec\alpha_n)P\),则 \(B=P^TAP\)

合同的定义:给定两个对称阵 \(A,B\),如果存在可逆方阵 \(P\) 使得 \(B=P^TAP\),则 \(B\)\(A\) 合同。

给定实对称阵 \(A\),令 \(\vec x=Q\vec y\),其中 \(Q\) 是正交阵(在这里算一个可逆线性替换),且 \(Q^TAQ=\Lambda\) 是对角矩阵,则 \(\vec x^TA\vec x=\vec y^T\Lambda\vec y\),那么这个二次型就可以写成 \(\sum \lambda_iy_i^2\) 的形式。

该对角阵 \(\Lambda\) 也称为 \(A\) 的相合标准形,下面给出两个求 \(\Lambda\) 的做法:

  • 直接求特征值 \(\Lambda\),直接求特征向量排成 \(Q\)
  • \(\begin{bmatrix} A \\ I \end{bmatrix}\rightarrow\begin{bmatrix} P^TAP\\ P\end{bmatrix}\),每次对上面那块做一个初等列变换,下面跟着上面做一样的列变换,然后上面做一次一样的初等行变换。

标准形不唯一,规范形:\(\forall y_i^2\) 的系数在 \(-1,0,1\) 三个数当中取值,再 sort 一下变成 \(1,-1,0\) 的顺序。证明规范形唯一,只需要证明系数为正,为负,为 \(0\) 的个数都一样就行了。

任意实对称矩阵相合于 \(\text{diag}(I_p,I_{r-p},O)\)\(A,B\) 相合即 \(p,r\) 都相同,秩与特征值的符号是相合的不变量。

相合变换不改变正定性(五种之一那个)。

特征值全正就是正定,全非负就是半正定,有正有负就是不定。

正定矩阵的性质:

  • 特征值全正。
  • 存在可逆矩阵 \(P\) 使得 \(A=P^TP\)
  • \(A\) 相合于 \(I\)
  • 一定可逆。

以下三条等价(主子式:选择一些行,再选择一些相同的列,顺序主子式 \([1,i]\times [1,i]\)):

  • 实二次型 \(\vec x^TA\vec x\) 正定
  • \(A\) 的顺序主子式全正
  • \(A\) 的主子式全正

半正定只能用主子式全正来判断,不能用顺序主子式全正。

\(A\)\(m\times n\) 实矩阵:若 \(r(A)=n\),则 \(A^TA\) 是正定矩阵,否则 \(A^TA\) 是半正定矩阵。

奇异值分解

\(A,B\) 分别为 \(m\times n,n\times m\) 的实矩阵,且 \(n>m\),则 \(\lambda^{n-m}|\lambda I_m-AB|=|\lambda I_n-BA|\)

\(A\) 可对角化,则非零特征值个数等于 \(r(A)\)

\(A^TA\vec v=\sigma^2\vec v\),则 \(\vec v\)\(A\) 在奇异值 \(\sigma\) 下的右奇异向量,\(A\) 在左边是左奇异向量。

不计次序下 \(A\) 的 SV 唯一,但 SVD 不唯一。

求 SVD 分解的步骤:

  • \(A^TA\) 算出来。
  • 求出 \(V^T\)\(\Sigma_1^2\),使得 \(V^T(A^TA)V=\begin{bmatrix}\Sigma_1^2 &0\\0&0\end{bmatrix}\),注意 \(\Sigma_1\) 是特征值的根号,\(V\) 要变成正交矩阵。
  • \(V_1\)\(V\) 的前 \(r(A)\) 列,\(U_1=AV_1\Sigma_1^{-1}\)
  • \(U_1\) 扩充为 \(m\) 列的 SOB,最后 \(A=U\Sigma V^T\),其中 \(\Sigma=\begin{bmatrix}\Sigma_1 &0\\0&0\end{bmatrix}\)

\(U_1=AV_1\Sigma_1^{-1}\) 可得 \((\vec u_1,\cdots,\vec u_r)=A(\vec v_1,\cdots,\vec v_r)\Sigma_1^{-1}=(A\vec v_1,\cdots,A\vec v_r)\Sigma_1^{-1}=(\frac{1}{\sigma_1}A\vec v_1,\cdots,\frac{1}{\sigma_r}A\vec v_r)\)。也就是 \(\forall 1\le i\le r:\vec u_i=\frac{1}{\sigma_i}A\vec v_i,\vec v_i=\frac{1}{\sigma_i}A^T\vec u_i\)

\(U\) 的前 \(r\) 列是 \(C(A)\) 的一组 SOB,后 \(m-r\) 列是 \(N(A^T)\) 的 SOB。

\(V\) 的前 \(r\) 列是 \(C(A^T)\) 的 SOB,后 \(n-r\) 列是 \(N(A)\) 的 SOB。

注意:如果 \(A\) 是扁的,先算 \(A^T\) 的 SVD 分解然后转置一下。

奇异值的不变性:

  • \(kA\) 的奇异值是 \(A\)\(|k|\) 倍。
  • 左乘或右乘正交矩阵,奇异值不变。

\(A\) 的谱范数:\(||A||=\max\limits_{\vec x\ne 0}\frac{|A\vec x|}{|\vec x|}\)

谱范数的性质:

  • 左乘或右乘正交矩阵,谱范数不变。
  • \(||kA||=|k|||A||\)
  • \(||AB||\le||A||\times||B||\)
  • \(||A+B||\le||A||+||B||\)
  • \(||A||\ge 0\)\(||A||=0\) 当且仅当 \(A=O\)
  • \(||A||\)\(A\) 最大的奇异值。

矩阵的广义逆

\(AGA=A,GAG=G,(AG)^T=AG,(GA)^T=GA\)\(G=A^+\)

广义逆具有以下性质:

  • \(A\) 列满秩时,\(A^+=(A^TA)^{-1}A^T\)
  • \(A\) 行满秩时,\(A^+=(AA^T)^{-1}A\)
  • \(A=U\Sigma V^T,A^+=V\Sigma^+U^T\),其中 \(\Sigma^+\)\(\Sigma\) 在所有非 \(0\) 的位置取倒数。

投影矩阵的扩展:\(P_{C(A^T)}=A^+A,P_{C(A)}=AA^+,P_{N(A)}=I_n-A^+A,P_{N(A^T)}=I_m-AA^+\)

\(m\)\(n\) 维向量线性无关,令 \(A=(\vec\alpha_1,\vec\alpha_2,\cdots,\vec\alpha_m)\),则这些向量的体积为 \(\sqrt{|A^TA|}\)

线性空间

线性空间的 \(11\) 条定义:

  1. 非空
  2. 对加法封闭
  3. 对数乘封闭
  4. 加法交换律
  5. 加法结合律
  6. 乘法分配律 1
  7. 乘法分配律 2
  8. 数乘结合律
  9. 有负元素
  10. 有单位元
  11. 有零元

加法和数乘是可以随意定义的两种运算。

\(\vec\alpha_1,\vec\alpha_2,\cdots,\vec\alpha_n\)\(\vec\beta_1,\vec\beta_2,\cdots,\vec\beta_n\)\(n\) 维线性空间下的两组基,若 \((\vec\beta_1,\vec\beta_2,\cdots,\vec\beta_n)=(\vec\alpha_1,\vec\alpha_2,\cdots,\vec\alpha_n)C\),则称 \(C\)\(\vec\alpha_1,\vec\alpha_2,\cdots,\vec\alpha_n\)\(\vec\beta_1,\vec\beta_2,\cdots,\vec\beta_n\) 的过渡矩阵。

\(\vec\gamma\) 在这两组基下的坐标分别为 \(\vec X,\vec Y\),则 \(\vec\gamma=(\vec\beta_1,\vec\beta_2,\cdots,\vec\beta_n)\vec Y=(\vec\alpha_1,\vec\alpha_2,\cdots,\vec\alpha_n)C\vec Y\)。所以 \(\vec X=C\vec Y,\vec Y=C^{-1}\vec X\)

\(V_1\rightarrow V_2\) 存在一个双射 \(\varphi\) 满足(\(V_1,V_2\) 是数域 \(F\) 上的两个线性空间):

  • \(\forall \vec a,\vec b\in V_1,\varphi(\vec a+\vec b)=\varphi(\vec a)+\varphi(\vec b)\)
  • \(\forall \vec a\in V_1,k\in F,\varphi(k\vec a)=k\varphi(\vec a)\)

则称 \(\varphi\) 是线性空间的同构,\(V_1≌V_2\)

同构运算保零元,保负元,保线性相关性,保线性组合,保维数。

同构映射的逆映射,复合映射都是同构映射。

\(V_1≌V_2\) 当且仅当 \(\dim V_1=\dim V_2\)

\(\forall \vec a\in V_1,\varphi(\vec a)\)\(\vec a\)\(V_1\) 的一组基下的坐标,则 \(V_1≌F^n\)

线性子空间

\(W\) 是线性空间 \(V\) 的非空子集,那么 \(W\)\(V\) 的子空间的充要条件是 \(W\)\(V\)定义的加法和数乘封闭。

注意子空间必须包含 \(\vec 0\),但是它的基是空集。

\(\vec a_1,\cdots,\vec a_m\in V_1(F)\),则 \(L=\sum_{i=1}^mk_i\vec a_i\) 为它们的生成子空间,注意 \(k_i\in F\)

\(W\) 的任意一组基,可以扩充为 \(V\) 的一组基。

\(W_1\bigcap W_2=\{\vec a|\vec a\in W_1,\vec a\in W_2\}\)

\(W_1+W_2=\{\vec a+\vec b|\vec a\in W_1,\vec b\in W_2\}\)

\(\dim W_1+\dim W_2=\dim (W_1+W_2)+\dim(W_1\bigcap W_2)\)

\(W_1+W_2\) 的一组基,只要合并 \(W_1,W_2\) 的基即可。

\(W_1\bigcap W_2\) 的一组基:设 \(\vec a_1,\cdots \vec a_s,\vec b_1,\cdots \vec b_t\) 分别为 \(W_1,W_2\) 的一组基,解方程:

\[(\vec a_1\cdots\vec a_s\ \vec b_1\cdots\vec b_t)\begin{bmatrix}k_1\\ \vdots\\ k_s\\-l_1\\\vdots\\-l_t\end{bmatrix}=\vec 0 \]

因为 \(\vec c\in W_1\bigcap W_2\) 就是 \(\vec c=\sum k_i\vec a_i=\sum l_i\vec b_i\)。并且 \(k,l\) 要么两个一起全 \(0\),要么两个都不能全 \(0\)

设这东西解空间的基分别为 \(\vec c_1,\cdots,\vec c_p\),则 \(W_1\bigcap W_2\) 的一组基 \(\vec d_1,\cdots,\vec d_p\) 满足:\(\vec d_i=\sum_{j=1}^kc_{i,j}\)

\(W_1,W_2\) 都是 \(V\) 的子空间,如果 \(W_1\bigcap W_2=\{\vec 0\}\),则称 \(W_1+W_2=W_1\oplus W_2\)\(W_1\)\(W_2\) 的直和。

\(V=W_1+W_2\),则下面四条等价:

  • \(W_1\bigcap W_2=\{\vec 0\}\)
  • \(\vec 0\) 表示成 \(W_1,W_2\) 元素和的方案唯一。
  • \(V\) 中任意元素表示成 \(W_1,W_2\) 元素和的方案唯一。
  • \(\dim V=\dim W_1+\dim W_2\)

\(\vec \alpha_1,\cdots,\vec \alpha_s\)\(\vec \beta_1,\cdots,\vec\beta_t\) 分别为 \(W_1,W_2\) 的一组基,则 \(V=W_1\oplus W_2\Leftrightarrow\) \(\vec \alpha_1,\cdots,\vec \alpha_s,\vec \beta_1,\cdots,\vec\beta_t\)\(V\) 的一组基。

\(W_1+W_2=V,W_1\bigcap W_2=\{\vec 0\}\) 则称 \(W_2\)\(W_1\) 的补空间,补空间一般不唯一,但是正交补是唯一的。

线性映射及其对应矩阵

对于映射 \(\sigma:V_1\rightarrow V_2\),若满足:

  • \(\forall \vec a,\vec b\in V_1:\sigma(\vec a+\vec b)=\sigma(\vec a)+\sigma(\vec b)\)
  • \(\forall \vec a\in V_1,k\in F,\sigma(k\vec a)=k\sigma(\vec a)\)

则称 \(\sigma\) 为线性映射,当 \(V_1=V_2\) 时为线性变换。

旋转变换:\((x,y)\) 逆时针转 \(\theta\) 弧度:\((x\cos\theta-y\sin\theta,x\sin\theta+y\cos\theta)\)

\((\sigma(\vec a_1),\cdots,\sigma(\vec a_n))=(\vec b_1,\cdots,\vec b_m)A\),则称 \(A\)\(\sigma\) 在基 \(\vec a_1,\cdots,\vec a_n\)\(\vec b_1,\cdots,\vec b_m\) 下的矩阵。

此时,设 \(\vec a,\sigma(\vec a)\) 在两组基下的坐标分别为 \(\vec x=(x_1,\cdots,x_n)^T,\vec y=(y_1,\cdots,y_m)^T\),则 \(\vec y=A\vec x\)

\((\sigma(\vec a_1),\cdots,\sigma(\vec a_n))=(\vec a_1,\cdots,\vec a_n)A\),则称 \(A\)\(\sigma\) 在基 \(\vec a_1,\cdots,\vec a_n\) 下的矩阵。

\(\vec a_i\)\(\vec b_i\)\(V_1,V_2\) 下两组大小均为 \(n\) 的基,可以定义 \(\sigma\) 使得 \(\forall i:\sigma(a_i)=b_i\)。对于任意 \(\vec\gamma\in V_1\),求出 \(\vec\gamma\) 在旧基下的坐标,再把这个坐标在新基下求出一个 \(\vec c,\sigma(\vec \gamma)=\vec c\)

线性映射之间可以加法和数乘,做完还是线性映射。

基变换下的线性映射

\(\text{Im}\ \sigma\)\(\sigma\) 的值域,又名像空间。

\((\sigma(\vec\varepsilon_1),\cdots,\sigma(\vec\varepsilon_n))=(\vec\eta_1,\cdots,\vec\eta_m)A\),则 \(\dim\text{Im}\ \sigma=r(A)\)

\(\sigma\) 是满射,当且仅当 \(\dim\text{Im}\ \sigma=\dim V_2\)

已知 \(\sigma\) 在一组基 \(\vec\alpha_i\) 下的矩阵 \(A\),求 \(\text{Im}\ \sigma\) 的一组基:把 \(C(A)\) 中一组基拿出来,作为 \(\vec\alpha_i\) 们的系数。即 \(\dim \text{Im}\ \sigma=\dim C(A)\)

\(\ker \sigma\) 是所有 \(\sigma(\vec a)=\vec 0\) 的集合。

\(\sigma\) 是单射,当且仅当 \(\dim \ker \sigma=0\)

\(A\) 是在两组基下的矩阵,则:\(\dim \ker \sigma=\dim N(A)\)

已知 \(\sigma\) 在一组基 \(\vec\alpha_i\) 下的矩阵 \(A\),求 \(\ker \sigma\) 的一组基:把 \(N(A)\) 中一组基拿出来,作为 \(\vec\alpha_i\) 们的系数。

线性变换是单射 \(\Leftrightarrow\) 是满射 \(\Leftrightarrow\) 是双射。

\(\dim\ker\sigma+\dim\text{Im}\ \sigma=\dim V_1\)

同一个线性映射在不同基下的矩阵具有相抵关系。

最后,线代期末 四则运算大战 day2 加油!

upt 2022/1/2:最后一题不会,四则运算大战 day2 AK 失败。

posted @ 2022-01-01 21:13  花淇淋  阅读(37)  评论(0编辑  收藏  举报