正交、内积、施密特正交化 —— 正本清源，勿自欺

问题：

施密特正交化的正确性，可以用内积为0来论证。

但正交和内积的内在联系，为何存在？

施密特正交化的方法是怎么想到的？投影和正交的关系是什么？

先导：

正交：两个向量不含平行的分量

自然基就是彼此正交的n个向量。

 

正交一定不相关/平行

不相关/平行不一定正交。

这也是正交基和一般基的区别。

 

何谓平行？

在一个线性空间中，取定一个基。

一个向量与另一个向量的坐标的各分量成比例，即线性相关。

 

何谓垂直/正交？

正交：向量a中完全不含有向量b的平行成份

如何判断不含有呢？

何谓投影？

投影：向量A中与向量B平行的全部成份。

如何定义全部？A减去这部分以后，剩下的的部分不含有任何与B平行的部分。

也就是说，剩下的部分必须是与B正交的。

 

已知：

A = A_平行 +  C

 

将C中的平行部分不断拆分出来，加入A_平行。

C中的平行部分的向量长度/范式，不断趋近于0.

由于C中的向量的各坐标分量是连续变化的，

所以C中的平行部分的向量长度/范式一定可以达到0

 

所以，对于任意向量A和B，存在A_全部平行、A_正交 ，使得A = A_全部平行 + A_正交

 

显然，平行部分的分量和正交部分的分量是线性无关的。

 

而投影就是获取平行的全部成份的过程，

而现在问题的关键是获取归一化后的平行分量的比例系数，简称投影系数。投影系数是一个标量。

 

只要有了这个系数的计算方法，我们就可以平行/正交分解向量啦！

 

下面正式开始！在不循环论证的情况下，计算投影。

 

引理1：

因为向量处于线性空间，根据线性空间的性质。

将向量A数乘k, 则平行部分也乘以k, 正交部分也乘以k。

将向量A与向量B相加，则平行部分对应相加，正交部分对应相加。

正交部分对应相加后，会产生平行分量吗？ 不会（向量组的线性相关性理论）

 

所以，投影（输入任意向量，得到平行分量或其投影系数）是一种线性变换。

 

继续证明：

数组向量A在数组向量B上的投影系数 = A1...As在B上的投影系数之和

其中, A = A1 + ... + As (s可以任意大)

 

所以，不妨将A拆解为n维实数空间中的n个自然基上的子向量a1...an。上式仍然成立。

 

引理2：

已知两个单位向量A和B。

因为A和B此时是对称的。

（将基变换后，A和B的线性关系不会改变）

（基变换，只会改变坐标）

（可以找到在两个不同的基下，A和B的坐标是对调的）

A在B上的投影系数 = B在A上的投影系数。

 

若将A、B任意伸缩，

A在B上的投影系数 / |A| = B在A上的投影系数 / |B|

 

引理有了，继续证明：

数组向量A在数组向量B上的投影系数 = a1...an在B上的投影系数之和

= Σ ai * [B在ai上的投影] / |B| = ΣΣai * [bj在ai上的投影] / |B|

（将B拆解为n维实数空间中的n个自然基上的子向量b1...bn）

 

因为自然基之间都不平行，即不含平行分量，即都是正交的，所以投影为0

 

所以，ΣΣai * [bj在ai上的投影] / |B| = Σaibi/ |B|

 

结论：

1.Σaibi/ |B| / |A|，表明了两个向量的平行/相关程度。

（当然这个程度的变化规律不是线性的, 参考二维的cosθ）

2.这个方法可以用来去除平行分量，保留正交分量 —— 施密特正交化的理论依据

3.如果投影系数为0，判断为正交 ——— 正交的充要条件，解释了向量内积与正交的本质