机器学习-特征选择(降维) 线性判别式分析(LDA)

  特征选择(亦即降维)是数据预处理中非常重要的一个步骤。对于分类来说,特征选择可以从众多的特征中选择对分类最重要的那些特征,去除原数据中的噪音。主成分分析(PCA)与线性判别式分析(LDA)是两种最常用的特征选择算法。关于PCA的介绍,可以见我的另一篇博文。这里主要介绍线性判别式分析(LDA),主要基于Fisher Discriminant Analysis with Kernals[1]和Fisher Linear Discriminant Analysis[2]两篇文献。

  LDA与PCA的一大不同点在于,LDA是有监督的算法,而PCA是无监督的,因为PCA算法没有考虑数据的标签(类别),只是把原数据映射到一些方差比较大的方向(基)上去而已。而LDA算法则考虑了数据的标签。文献[2]中举了一个非常形象的例子,说明了在有些情况下,PCA算法的性能很差,如下图:                                   

 我们用不同的颜色标注C1,C2两个不同类别的数据。根据PCA算法,数据应该映射到方差最大的那个方向,亦即Y轴方向,但是如果映射到Y轴方向,C1,C2两个不同类别的数据将完全混合在一起,很难区分开,所以使用PCA算法进行降维后再进行分类的效果会非常差。但是使用LDA算法,数据会映射到X轴方向。

  LDA算法会考虑到数据的类别属性,给定两个类别C1、C2,我们希望找到一个向量ω,当数据映射到ω的方向上时,来自两个类的数据尽可能的分开,同一个类内的数据尽可能的紧凑。数据的映射公式为:z=ωTx,  其中z是数据x到ω上的投影,因而也是一个d维到1维的维度归约。

  令m1和m1分别表示C1类数据投影之前个投影之后的均值,易知m1Tm1,同理m2Tm2

  令s12和s22分别表示C1和C2类数据在投影之后的散布(scatter),亦即s12=Txt-m1)2rt,s22=∑(ωTxt-m2)2(1-rt)其中如果xt∈C1,则rt=1,否则rt=0。

  我们希望|m1-m2|尽可能的大,而s12+s22尽可能的小,Fisher线性判别式就是最大化下面式子的ω:

  J(ω)=(m1-m2)2/(s12+s22)     式子-1

  改写式子-1中的分子:  (m1-m2)2=  (ωTm1Tm2)2T(m1-m2)(m1-m2)Tω=ωTSBω

  其中SB=(m1-m2)(m1-m2)T    式子-2

  是类间散布矩阵(between class scatter matrix)。

  改写式子-1中的分母:

  ∑(ωTxt-m1)2rt=∑ωT(xt-m1)(xt-m1)TωrtTS1ω, 其中S1=∑rt(xt-m1)(xt-m1)T是C1的类内散布矩阵(within class scatter matrix)。

  令SW=S1+S2,是类内散布的总和,则s12+s22TSWω。

  所以式子-1可以改写为:

  J(ω)=(ωTSBω)/(ωTSWω)    式子-3

  我们只需要使式子-3对于ω求导,然后使导数等于0,便可以求出ω的值:ω=cSW-1(m1-m2),其中c是一个参数,我们只对ω的方向感兴趣,所以c可以取值为1.

  另外,最后求得的 J(ω)的值等于λk,λkSW-1SB的最大的特征值,而ω则是SW-1SB的最大特征值所对应的特征向量。

  最后有一些关于LDA算法的讨论,出自文献[1]:

  1. Fisher LDA对数据的分布做了一些很强的假设,比如每个类的数据都是高斯分布,各个类的协方差相等。虽然这些强假设很可能在实际数据中并不满足,但是Fisher LDA已经被证明是非常有效地降维算法,其中的原因是线性模型对于噪音的鲁棒性比较好,不容易过拟合,缺点是模型简单,表达能力不强,为了增强Fisher LDA算法的表达能力,可以引入核函数,参见我的另外一篇博客机器学习-核Fisher LDA算法

  2. 准确的估计数据的散布矩阵是非常重要的,很可能会有较大的偏置。用式子-2进行估计在样本数据比较少(相对于维数来说)时会产生较大的变异性。

 

  参考文献:

  [1] Fisher Discriminant Analysis with Kernals. Sebastian Mika, Gunnar Ratsch, Jason Weston, Bernhadr Scholkopf, Klaus-Robert Muller.

  [2] Fisher Linear Discriminant Analysis. Max Welling.

  [3] 机器学习导论。 Ethem Alpaydin

posted on 2013-01-27 19:50  潘的博客  阅读(6629)  评论(2编辑  收藏

导航

统计