机器学习中的矩阵方法01:线性系统和最小二乘

 

说明:Matrix Methods in Data Mining and Pattern Recognition 读书笔记

非常 nice 矩阵在线计算器,网址:http://www.bluebit.gr/matrix-calculator/.

 

1. LU Decomposition

假设现在要解一个线性系统:

Ax = b,

其中 A 是 n×n 非奇异方阵,对于任意的向量 b 来说,都存在一个唯一的解。

回顾我们手工求解这个线性方程组的做法,首先将矩阵 A 行之间进行加减,将 A 矩阵转化为一个上三角矩阵,然后从下往上将未知数一个一个求解出来, 这就是高斯消元法

实际上,矩阵等价于左乘一个单位矩阵,行变换操作可以直接体现在左乘的单位矩阵上。比如要将矩阵 A 第二行减去第一行,等价于将左乘的单位矩阵的第二行减去第 一行,当然矩阵 A 最终转化为上三角矩阵 U 比这个复杂的多,我们将左乘的单位矩阵最终等价变换后得到的矩阵命名为 M ,显然, M 是一个下三角矩阵。

MA = U.

A = LU. 其中 M, L 互为逆矩阵

图片表示如下:

由于要确保 A 转化后的第一行的第一项不为 0, 第二行的第二项不为 0, 第三行…… 因此, A 前面应该再加上一个行与行之间进行交换的矩阵 P。因此,LU 分解的公式又可以写成:

PA = LU

P 是 permutation matrix, L 是 lower triangular matrix, U 是 upper triangular matrix. 有些书将置换矩阵 P 放置在等号右边。比如这个矩阵在线计算器默认的就是将 P 放置在矩阵 L 的前面。不妨利用这个工具测试一下 LU 分解的正确性。

如果 A 是对称正定矩阵,L 和 U 正好是互为转置,差别在于对应的行存在倍数关系,这种那个倍数关系可以用对角线矩阵来实现,所以, LU 分解就可以写成:

将对角线矩阵均摊到两边,公式可以转化为:

其中,矩阵 U 是上三角矩阵,这个就是 Cholesky decomposition,这个分解方法有点像求实数的平方根。同时,该分解方法的计算量只有 LU 分解的一半。

 

2. 条件数

条件数是线性方程组Ax=b的解对b中的误差或不确定度的敏感性的度量。数学定义为矩阵A的条件数等于A的范数与A的逆的范数的乘积,即cond(A)=‖A‖·‖A-1‖,对应矩阵的3种范数,相应地可以定义3种条件数。

matlab 里面运算函数:cond(A,2)或cond(A):2范数

一个极端的例子,当A奇异时,条件数为无穷,这时即使不改变b,x也可以改变。奇异的本质原因在于矩阵有0特征值,x在对应特征向量的方向上运动不改变Ax的值。如果一个特征值比其它特征值在数量级上小很多,x在对应特征向量方向上很大的移动才能产生b微小的变化,这就解释了为什么这个矩阵为什么会有大的条件数,事实上,正规阵在二范数下的条件数就可以表示成 abs(最大特征值/最小特征值)。——摘自百度百科

在计算机编程环境中,数据都是有浮点类型表示,精度有限,存在干扰,因此在解线性方程的时候都会存在误差。

 

3. 最小二乘的问题

在机器学习里面,使用线性分类器或者线性回归方法时经常会遇到最小二乘的问题(分类也可以看做一种特殊的回归,目标值是 1 和 -1 或者 0 和 1)。现有下面这个问题,左边是样本点的两个属性,右边是回归值,如何确定 e 和 k?

这个线性系统可以表示为:

Ax = b

其中,A 的行数大于列数,这种情况又叫做 overdetermined。假设 A 矩阵是 3×2 的矩阵,令 A = (a1, a2), Ax 表示这两个基向量的线性组合(span),在几何上是三维空间里的一个平面。而 b 向量则是三维空间里面的一个点,这个点如果不在 span{a1, a2} 上,则该方程不存在正确的解。现在我们的任务是令残差向量 r = b - Ax 最小:

LMS 算法中利用梯度下降法可以达到目标函数的最优值,但是这个目标函数的真正意义是什么?

几何上的直观感受就是,如果残差向量正好垂直于 a1, a2 组成的平面,此时达到最优:

残差向量 r = b - Ax 与 a1, a2 组成的平面垂直,则与向量 a1, a2 也是相互垂直的:

展开写成如下公式:

如果 A 矩阵的列向量是线性无关的,那么上式有唯一的解:

用这个方法解决 least squares problems 存在两个缺陷:

  1. A^T A 会导致信息的丢失。假设 A 中某一项是一个计算机刚好能表示的浮点数,A 乘以 A 的转置后浮点数的平方可能超出精度而被丢失,从而导致 A^T A 是奇异矩阵无法求解,应对的方法是后面要学的奇异值分解。
  2. A^T A 的条件数是 A 的平方。系统不稳定性变大了。应对的方法是对数据进行中心化预处理,这样做的目的是要增加基向量的正交性。

 

 

posted on 2013-07-21 23:30  daniel-D  阅读(5391)  评论(1编辑  收藏  举报

导航