【线性代数】 08 - 线性空间的度量

1. 内积空间

1.1 欧几里得空间

  线性空间在添加了双线性的运算后,向量之间建立了简单的正交、非正交的关系。数域是最常见的域,它天生就带着度量的使命,所以在数域的线性空间中,我们不能回避向量间的度量。所谓度量就是用一个数表示向量之间的关系,并衍生出长度、距离和角度的概念,而在度量上最“完备”的数域当然是实数域,故这里的长度先限定在实数域上讨论。但其实本篇的推导和结论其实对数域的要求并不高,如果放在更弱一点的代数数域中(至少包含\(\sqrt{2}\)),是同样可以成立的。

  双线性函数正好是用数量来表示向量的关系,在这里我们还需要对其加一些限制条件。首先我们希望这个度量与向量的顺序无关,所以要求双线性函数是对称的。其次我们准备用二次型表示向量长度,所以还要求它是正定的。为此我们定义实数域上正定的对称双线性函数\(f(\alpha,\beta)\)为向量的内积,简记为\((\alpha,\beta)\)或\(\alpha\cdot\beta\),易知内积的度量矩阵为正定实对称矩阵。

  定义了内积的实线性空间叫实内积空间,或者叫欧几里得空间(Euclid),有了内积下面就继续定义长度和距离(式(1))。由于二次型是二次函数,所以定义向量的长度时,需要对其开平方,即\(\alpha\)的长度为\(\sqrt{\alpha\cdot\alpha}\),简记为\(\left\|\alpha\right\|\)。长度为\(1\)的向量称为单位向量,对任意非零向量\(\alpha\)显然\(\dfrac{\alpha}{\left\|\alpha\right\|}\)是单位向量。而距离自然定义为向量差的长度,记作\(d(\alpha,\beta)\)。你可能注意到,这样定义的内积其实与解析几何中介绍的是有差别的,我们还需要验证这些定义是否符合几何学中的基本关系。

\[\left\|\alpha\right\|=\sqrt{\alpha\cdot\alpha},\quad d(\alpha,\beta)=\left\|\alpha-\beta\right\|\tag{1}\]

  内积作为向量间关系,除了长度之外应该还有角度的性质,比如前面的正交性。考察等式\(\left\|t\alpha-\beta\right\|\geqslant 0\)并将其展开,得到不等式\(\left\|\alpha\right\|^2t^2-2(\alpha\cdot\beta)t+\left\|\beta\right\|^2\geqslant 0\)。该式成立的充要条件是判别式非负,等号成立的条件是\(\alpha,\beta\)线性相关。整理判别式即有Schwarz-Cauchy不等式(2),有了这个不等式我们就能方便地定义向量的夹角了(式(3))。

\[|\alpha\cdot\beta|\leqslant \left\|\alpha\right\|\cdot\left\|\beta\right\|\tag{2}\]

\[\theta=\arccos{\frac{\alpha\cdot\beta}{\left\|\alpha\right\|\cdot\left\|\beta\right\|}},\quad (0\leqslant\theta\leqslant\pi)\tag{3}\]

  等式(2)两边同时加上\(\left\|\alpha\right\|^2+\left\|\beta\right\|^2\),整理后可以得到三角不等式(4),它还有等价形式(5),这个式子保证了距离的概念是合理的。 当\(\alpha,\beta\)正交时,(4)式两边取平方即可得勾股定理(6),并且易证等式(6)是\(\alpha,\beta\)正交的充要条件。式(6)还可以推广到两两正交的有限向量组中,请自行论证。

\[\left|\:\left\|\alpha\right\|-\left\|\beta\right\|\:\right|\leqslant\left\|\alpha+\beta\right\|\leqslant\left\|\alpha\right\|+\left\|\beta\right\|\tag{4}\]

\[\left|d(\alpha,\gamma)-d(\beta,\gamma)\right|\leqslant d(\alpha,\beta)\leqslant d(\alpha,\gamma)+d(\beta,\gamma)\tag{5}\]

\[\left\|\alpha\right\|^2+\left\|\beta\right\|^2=\left\|\alpha+\beta\right\|^2\tag{6}\]

1.2 酉空间

  复数域是实数域的代数闭包,我们希望能把度量的概念推广到复线性空间。但度量首先要求长度、距离这样的概念是非负实数,对称双线性函数不再适用,比如要求\(f(\alpha,\alpha),f(i\alpha,i\alpha)\)都大于\(0\)就是不可能的。要进行概念的推广,就不得不打破双线性函数的束缚,或者说将其也进行推广。

  对推广后的函数我们有三点需要满足:(1)要能兼容实数域上的内积;(2)长度的概念满足正定性;(3)距离概念还满足三角不等式。先来处理简单的场景,考虑\(f(k\alpha,k\alpha)\)的正定性,如果还是定义成\(f(k\alpha,k\alpha)=k^2f(\alpha,\alpha)\),在复数域上\(k^2\)并不是正定的。回想到复数共轭的概念,很容易想到将第二个参数变成其共轭,即将\(f(\alpha,k\alpha)\)定义为\(\bar{k}f(\alpha,\alpha)\),也可以一般性地定义为半线性(式(7))。

\[f(\alpha,k_1\beta_1+k_2\beta_2)=\overline{k_1}f(\alpha,\beta_1)+\overline{k_2}f(\alpha,\beta_2)\tag{7}\]

  函数在第一个变量上可以继续保持线性函数,为了能体现出函数在实数域上的对称性,式(7)和第一个变量上的线性相结合,便是式(8)的Hermite性。由此我们便有了复数域上的“内积”定义\(f(\alpha,\beta)\):(1)\(f\)是\(\alpha\)上的线性函数;(2)\(f\)满足Hermite性;(3)\(f\)是正定的。这样的函数被称为复内积,它显然和实内积兼容,所以也可以简称为内积,同样记作\((\alpha,\beta)\)或\(\alpha\cdot\beta\)。定义了内积的复线性空间称为复内积空间或内积空间,也称为酉空间(unitary linear space)。

\[f(\beta,\alpha)=\overline{f(\alpha,\beta)}\tag{8}\]

  在有限维空间中,选定一组基\(\{\varepsilon_1,\cdots,\varepsilon_n\}\)后,内积也可以由这组基上的度量矩阵(式(9))决定。度量矩阵显然满足\(A'=\overline{A}\),并且当基通过过渡矩阵转变时,也同样有类似“合同”的关系式(10)。类似于实对称矩阵的可对角化,你也可以验证内积度量矩阵也是可对角化的。

\[f(\alpha,\beta)=XA\overline{Y'},\quad a_{ij}=f(\varepsilon_i,\varepsilon_j)\tag{9}\]

\[B=PA\overline{P'}\tag{10}\]

  由于内积的正定性,长度\(\left\|\alpha\right\|\)和距离\(d(\alpha,\beta)\)的概念就自然引出了(式(1)),现在还需要证明三角不等式(4)(5),它们依赖于Schwarz-Cauchy不等式(式(2))。在复内积上,式(2)的证明本质和实数域上一样,只是在复数域上形式稍显复杂,其实直接将中轴数\(t=-\dfrac{\alpha\cdot\beta}{\left\|\beta\right\|^2}\)带入\((\alpha+t\beta,\alpha+t\beta)\geqslant 0\)的展开式便可得到,请自行验证。

  由式(2)自然可以定义角度(式(11)),注意这里的取值范围,它在复线性空间中更合适。定义了角度后,自然地就能引出正交的概念,以及正交向量的勾股定理(式(6)),你可以自己完成这些推导。

\[\theta=\arccos{\frac{|\alpha\cdot\beta|}{\left\|\alpha\right\|\cdot\left\|\beta\right\|}},\quad (0\leqslant\theta\leqslant\frac{\pi}{2})\tag{11}\]

2. 正交性和正交变换

  上面完成了内积空间的定义,并且看到酉空间对欧几里得空间是完全兼容的,今后的讨论都设定在酉空间中。

2.1 正交基

  由于内积的度量矩阵可以“合同”对角化,所以内积空间总是存在一组正交基。我们希望在正交基下继续研究空间结构,但没有度量的帮助这一切都无法实现。而现在有了内积的定义,下面就来着手讨论正交关系下的内积空间结构。先来看看正交向量的性质,设\(\alpha_1,\cdots,\alpha_s\)两两正交,如果有\(\sum{k_i\alpha_i}=0\),该式分别与\(\alpha_j\)求内积得\(k_j(\alpha_j\cdot\alpha_j)=0\),从而\(k_j=0\)。这就说明了内积空间中,两两正交的向量必然是线性无关的。

  从而\(n\)实内积空间中最多有\(n\)个正交向量,而且如果有的话它们便是一组基,单位向量组成的正交基又叫标准正交基。标准正交基使得度量有了单位,从而方便了表达。比如由于标准正交基的度量矩阵是\(I\),向量的内积表达式就只与它们的坐标有关(式(12))。进一步地,设\(\{\eta_1,\eta_2,\cdots,\eta_n\}\)是一组标准正交基,则每个向量的坐标也可以直接由内积表示(式(13))。式(13)也叫向量的Fourier展开,其中坐标也叫Fourier系数

\[\alpha\cdot\beta=X\overline{Y'}=x_1\overline{y_1}+x_2\overline{y_2}+\cdots+x_n\overline{y_n}\tag{12}\]

\[\alpha=(\alpha\cdot\eta_1)\eta_1+(\alpha\cdot\eta_2)\eta_2+\cdots+(\alpha\cdot\eta_n)\eta_n\tag{13}\]

  回顾实对称矩阵可合同对角化的证明,整个过程其实就是在寻找正交化基,现在把这个方法整理出来。设\(\{\alpha_1,\alpha_2,\cdots,\alpha_n\}\)是任意一组基,现在来构造一组正交基\(\{\beta_1,\beta_2,\cdots,\beta_n\}\)。构造\(\beta_i\)的过程既要引入向量\(\alpha_i\),又要和已经构造的\(\beta_j,(j<i)\)正交。模仿对角化的过程,先设\(\beta_1=\alpha_1\),然后设\(\beta_i=\alpha_i+\sum\limits_{j<i}k_{ij}\beta_j\)。利用正交性可求出\(k_{ij}\)的唯一解,这就得到了正交基(式(14)),这个过程也叫Schmidt正交化

\[\beta_1=\alpha_1;\quad\beta_i=\alpha_i-\sum_{j=1}^{i-1}{\frac{\alpha_i\cdot\beta_j}{\beta_j\cdot\beta_j}\beta_j}\quad (2\leqslant i\leqslant n)\tag{14}\]

2.2 酉矩阵(正交矩阵)

  以上正交化过程中,如果选取不同的基\(\{\alpha_1,\alpha_2,\cdots,\alpha_n\}\),也将得到不同标准正交基。这些标准正交基之间有什么样的关系?设两组基的过渡矩阵为\(P\),根据两组基的度量矩阵的关系有\(PI\overline{P'}=I\),为此定义满足\(A\overline{A'}=I\)的方阵为酉矩阵,在实数域上又叫正交矩阵(满足\(AA'=I\))。酉矩阵有着非常好的性质,首先它的逆矩阵正好就是它的共轭转置矩阵(式(15)),进而可知它的行向量和列向量都是坐标空间中的一组标准正交基。还容易看出,如果\(A,B\)是酉矩阵(正交矩阵),则\(\overline{A'},A^{-1},AB\)都是酉矩阵(正交矩阵)。\(P\overline{P'}=I\)两边取行列式,可知酉矩阵的行列式的模为\(1\)(对正交矩阵则是\(|P|=\pm 1\))。

\[A\overline{A'}=I\quad\Leftrightarrow\quad A^{-1}=\overline{A'}\quad\Leftrightarrow\quad \overline{A'}A=I\tag{15}\]

  式(14)可以整理为如(16)的关系式,这个式子表示了两组基的过渡矩阵。考虑到可逆矩阵\(A\)的\(n\)行其实就是坐标空间的一组基,因此\(A\)可以表示为\(TB\),其中\(B\)为行向量互相正交的矩阵。将\(B\)正交化为\(P_1\),系数转移到\(T\)上得到\(T_1\),于是就有\(A=T_1P_1\)。在\(A\)的列向量上讨论可以得到类似的结论,总结为式(17),就是说任何可逆方阵\(A\)可以分解为一个对角为正数的下三角矩阵\(T_1\)和一个酉矩阵\(P_1\)的乘积,也可以分解为一个酉矩阵\(P_2\)和一个对角为正数的上三角矩阵\(T_2\)的乘积。容易验证,这样的分解还是唯一的。

\[\begin{bmatrix}\alpha_1\\\alpha_2\\\vdots\\\alpha_n\end{bmatrix}=T\begin{bmatrix}\beta_1\\\beta_2\\\vdots\\\beta_n\end{bmatrix},\quad T=\begin{bmatrix}1&0&\cdots&0\\\frac{\alpha_2\cdot\beta_1}{\beta_1\cdot\beta_1}&1&\cdots&0\\\vdots&\vdots&\ddots&\vdots\\\frac{\alpha_n\cdot\beta_1}{\beta_1\cdot\beta_1}&\frac{\alpha_n\cdot\beta_2}{\beta_2\cdot\beta_2}&\cdots&1\end{bmatrix}\tag{16}\]

\[A=T_1P_1=P_2T_2\tag{17}\]

2.3 正交投影

  由于正定性,内积在任何子空间上\(W\)都是非退化的,类似上一篇的结论可知\(V=W\oplus W^{\perp}\)。更一般地,设\(V=W_1\oplus\cdots\oplus W_s\),将任何向量\(\alpha\)映射到\(W_i\)中的分量\(\alpha_i\)的线性变换\(\mathscr{P}_i\),称为正交投影,\(\alpha_i\)也称为\(\alpha\)的正交投影。在几何空间中,正交意味着最短距离,这个结论在内积空间中也同样成立。取\(W_i\)中的任意向量\(\beta\),由于\((\alpha-\alpha_i)\perp(\beta-\alpha_i)\),通过式(18)的推导便有式(19)成立,当且仅当\(\beta=\alpha_i\)时等号成立,结论得证。

\[\left\|\alpha-\beta\right\|^2=\left\|(\alpha-\alpha_i)-(\beta-\alpha_i)\right\|^2=\left\|\alpha-\alpha_i\right\|^2+\left\|\beta-\alpha_i\right\|^2\tag{18}\]

\[\left\|\alpha-\beta\right\|\geqslant\left\|\alpha-\alpha_i\right\|,\quad(\beta,\alpha_i\in W_i)\tag{19}\]

  正交投影的最短距离原理可以用于数据的逼近,也就是说\(\alpha_i\)在\(W_i\)中对\(\alpha\)的最佳逼近元,现在来看一个应用。比如我们事先知道或假定变量\(y\)是向量\([x_1,\cdots,x_n]\)的线性函数\(y=\sum{k_ix_i}\),为了确定系数\(k_i\)测得了\(m\)组样本\(\{y_j,x_{1j},\cdots,x_{nj}\}\)。考虑到测量误差,样本数\(m\)一般是要大于\(n\)的,但这样就可能导致方程组(20)可能无解。

\[\beta=k_1\alpha_1+k_2\alpha_2+\cdots+k_n\alpha_n,\quad \beta=\begin{bmatrix}y_1\\\vdots\\y_m\end{bmatrix},\:\alpha_i=\begin{bmatrix}x_{1i}\\\vdots\\x_{mi}\end{bmatrix}\tag{20}\]

  \(\beta\)不一定能由\(\alpha_i\)线性表出,那只好取合适的\(k_i\)使得\(d(\beta,\sum{k_i\alpha_i})\)尽量小。利用正交投影的最短距离原理,即要求\(\beta\)在\(\left<\alpha_1,\cdots,\alpha_n\right>\)上的正交投影。该条件等价于\((\beta-\sum{k_i\alpha_i})\cdot\alpha_j=0\),用矩阵表示就是式(21)。容易论证该方程有解,这个方法就是最小二乘法,得到的解也称为最小二乘解

\[\overline{A'}AX=\overline{A'}\beta,\quad A=[\alpha_1,\cdots,\alpha_n],\:X=[k_1,\cdots,k_n]'\tag{21}\]

2.4 酉变换(正交变换)

  线性变换一直是我们研究线性空间结构的重要方法,现在就来看看引入度量的限制后,空间变换又体现出什么特性。其实更一般地,我们不在线性变换的基础上作度量的限制,而是先直接研究度量限制下的映射。为此定义保持内积不变的映射为保距映射(式(22)),首先保距映射显然保持向量的长度、距离和角度不变,这样的映射很有应用价值。接下来你容易验证式(23)成立,从而保距映射必定是线性映射。

\[\varphi:V\mapsto V':\quad\varphi(\alpha)\cdot\varphi(\beta)=\alpha\cdot\beta,\quad\forall\alpha,\beta\in V\tag{22}\]

\[\left\|\varphi(\alpha+\beta)-\varphi(\alpha)-\varphi(\beta)\right\|^2=0;\quad\left\|\varphi(k\alpha)-k\varphi(\alpha)\right\|^2=0\tag{23}\]

  最后使用反证法,容易知道保距映射是单射,对于有限维空间它显然是双射,对无限维空间还需要求映射是满射。有双射保距映射的内积空间称为是保距同构的,也记作\(V\cong V'\)。保距同构的有限维内积线性空间的维数必然相同,反之对维数相同的两个内积线性空间,分别取它们的一组标准正交基作为映射的像和原像。容易验证映射是保距映射,从而有限维内积线性空间保距同构的充要条件是:它们的维数相同。

  当保距变换作用于空间自身时,自然就是一种特殊的线性变换\(\mathscr{A}\),它被称为酉变换(实数域上又叫正交变换)。对有限维内积线性空间,线性变换是酉变换的充要条件是:一组标准正交基被变换为另一组标准正交基,即线性变换的矩阵\(A\)是酉矩阵。酉变换是比可逆线性变换条件更强的变换,保距性使得它更具有使用价值,后面我们会继续讨论酉变换下的空间结构。

  由于正交矩阵的行列式为\(\pm1\),为此把正交变换分为两类,第一类的行列式为\(1\),也叫旋转,这个概念来自于几何空间。第二类的行列式\(-1\),设\(\mathscr{P}\)是到某个一维子空间的正交投影,则易证\(\mathscr{I}-2\mathscr{P}\)是第二类的,它被称为镜面反射。其实还容易证明,任何一个第二类的正交变换,都是一个旋转叠加上奇数个镜面反射得来。

  对于线性变换,最重要的就是研究它的不变子空间的分割,而酉变换的保距性为我们的研究提供的很好的工具。设\(W\)是\(V\)的不变子空间,由于\(V=W\oplus W^{\perp}\),我们来考察\(W^{\perp}\)。设\(\alpha\in W,\beta\in W^{\perp}\),由于\(\mathscr{A}\)是双射,则存在\(\alpha=\mathscr{A}\alpha'\),从而有式(24)的推导。也就是说\(\mathscr{A}\beta\in W^{\perp}\),所以\(W^{\perp}\)也是\(\mathscr{A}\)的不变子空间,这样\(W\oplus W^{\perp}\)就是\(V\)的一个不变子空间分割。

\[\mathscr{A}\beta\cdot\alpha=\mathscr{A}\beta\cdot\mathscr{A}\alpha'=\beta\cdot\alpha'=0\tag{24}\]

  设\(\mathscr{A}\)有特征值\(\lambda\)及其特征向量\(\eta\),由式(25)的推导可知\(|\lambda|=1\)。在复数域中,特征值总是存在的,设\(W=\left<\eta\right>\),则由刚才的结论知\(\mathscr{A}|_{W^{\perp}}\)仍然是正交变换。使用归纳法可知\(V\)有不变子空间分割\(\left<\eta_1\right>\oplus\cdots\oplus\left<\eta_n\right>\),其中\(\mathscr{A}\eta_i=\lambda_i\eta_i\),而特征值\(\lambda_i\)的模都为\(1\)。这就是说酉变换的度量矩阵相似于一个对角矩阵,特别地,酉矩阵也可以对角化。酉矩阵是酉变换在一组标准正交基下的度量矩阵,对角化后的一组基\(\{\eta_1,\cdots,\eta_n\}\)是正交的且很容易单位化,故酉矩阵的对角化时的过渡矩阵也可以是酉矩阵。换句话说,任何对任何酉矩阵\(A\),总存在酉矩阵\(P\)使得式(26)成立,其中\(\lambda_i\)是\(A\)的所有特征值。

\[\eta\cdot\eta=\mathscr{A}\eta\cdot\mathscr{A}\eta=\lambda\eta\cdot\lambda\eta=|\lambda|^2(\eta\cdot\eta)\tag{25}\]

\[PAP^{-1}=\text{diag}\,\{\lambda_1,\lambda_2,\cdots,\lambda_n\}\tag{26}\]

  上面的讨论中,我们充分借助了变换在内积上形式特点,讨论了不变子空间的分割,并且借助于正交性,将相似限定在标准正交基上。由于酉矩阵同时充当了相似和合同的过渡矩阵,这还为两类问题找到了一个连接的通道。沿着这个思路,下面将继续使用内积来讨论线性变换,并得到在标准正交基下的不变子空间分割。

posted on 2016-01-03 14:15  卞爱华  阅读(2956)  评论(2编辑  收藏  举报

导航