矩阵QR分解 - 指南

1 orthonormal向量与Orthogonal矩阵

    orthonormal向量定义为 ，任意向量 相互垂直，且模长为1；

   如果将  orthonormal向量按列组织成矩阵，矩阵为 Orthogonal矩阵，满足如下性质：

    ；

  当为方阵时，为其逆矩阵；当 为长方形矩阵时，为其左逆；

  当矩阵Q 为正交矩阵时，对向量变换变换前后点积不发生改变，，证明如下：

   ，当 x = y时，有 。

  对任意向量b ，行分解为一组正交向量的线性组合，，要求解系数x，可先写成矩阵形式：

    ，，；

  因此，向量 b 可分解为 。

2 Gram-Schmidt与 QR 分解

  对矩阵，允许将其转换为正交矩阵，方法如下：

   1）向量 方向保持不变，将其长度归一化， ；

   2）向量 可分解为向量 投影分量与垂直于向量  的两分量，剔除投影分量得 ，；

   3）同理，剔除向量 在  ， 上投影分量得  ，；

   4）依照如上方法，可以对所有向量完毕正交化。

  以上处理许可使用矩阵表示，矩阵 Q 为矩阵 A 的列进行线性变换结果，故可写为 A=QR 。

   1）向量  与向量 具有相同方向，故可表示为 ；

   2）向量 被分解为 方向向量，可表示为；

   3）向量 被分解为 方向向量，可表示为 ；

   4）综上表示为矩阵形式 。

3 求解 Ax=b

  使用 Gram-Schmidt可将矩阵 A 转换为正交矩阵 Q，正交矩阵 Q 可简化 Ax=b 运算：

   1）最小二乘法求解；

   2）带入 得 ，化简得 ；

   3方阵，都有 就是）不管长方形矩阵还，故上式可化简为 ；

   4）由于 R 为上三角矩阵，使用回代法即可求解。

4 函数空间

  向量 QR 分解可以推广到函数，向量内积表示各分量乘积之和，对于连续函数可表示为 ，

  函数长度可表示为 ，使用函数内积与函数长度定义，可以对函数按向量投影方法进行类似分解。

   1）最小二乘法求解近似函数  

    给定函数，求解在区间上的二阶近似函数 。

    a.令 ，表示在区间 上，对于任意 都有 ；

    b. 使用最小二乘法得，；

    c.转换为积分得 ，可求解 k, b。

   2）Legendre polynomials

   以上方程  使用高斯消元法求解，但随着多项式次数增加，消元法会产生很大的截断误差。

   使用Gram-Schmidt方法，将各个多项式基转换为正交函数，允许简化运算。

   设原始多项式基为 ，可做如下变换：

    a. 保持第一个函数方向不变，对长度进行归一化处理，；

    b.函数 x 与函数 1 在区间 上正交，故仅需对长度归一化，；

    c.函数 与函数 x 和 1 在区间  上均不正交，减去投影分量使其正交，

       ，，

      带入求解得 ；

    d.利用同样方式求得 ，。

   通过以上函数基，任意多项式可以改写为以上函数基的线性组合。当仅利用几个低阶函数基表示时，类似线性代数投影近似。

   对给定函数，求解在区间上的二阶近似函数 使用多项式函数基求解如下：

   函数 在 上投影为：

       ；

   整理得 。

    3）傅里叶级数

   互相正交的，当进一步对其归一化后构成一组函数基。任意函数被三角函数分解为：就是函数的傅里叶级数采用三角函数为基线性展开，三角函数

    ，对应系数为函数与归一化三角函数内积

     ，。