模式识别算法之1----Fisher线性判别

思想：多维 --> Fisher变换 --> 利于分类的一维

1.已知：

 

给定n维训练模式 x1,x2,...,xn,其中有N1和N2个模式分属w1和w2类（N1+N2=N)，分别记为{xj_(1)}和{xj_(2)}

 

2.目标：

 

我们希望通过Fisher变换之后，同一类的模式向量“距离”更近，而类之间的“距离”更远，这样达到更容易区分的目的。

同一类的模式向量“距离”：类内离散度矩阵（类内离差阵）

类之间的“距离”：类间离散度矩阵（类间离差阵）

 

3.变换前的类内离散度矩阵和类间离散度矩阵

 

变换前的类内离散矩阵Swi=sum_j（xj_(i)-mi)（xj_(i)-mi)'

            

其中mi=1/Ni sum (xj_(i))是各类的模式均值矢量。所以类内离散度矩阵实际上就是各模式矢量在各维度的协方差矩阵。

 

总的类内离散度矩阵为各个类内离散度矩阵相加，如果只考虑两个类的话：Sw=Sw1+Sw2;

 

变换前的类间离散度矩阵：SB=(m1-m2)(m1-m2)'

 

4.Fisher变换

 

yj_(i)=u'*xj_(i)

其中u就是变换矩阵，它的行数和x相同，而列数是新的维数

 

5.变换后的类内离散度矩阵和类间离散度矩阵

 

类内：Swi~=sum (yj_(i)-mi~)(yj_(i)-mi~)'

          =sum(u'*xj_(i)-u'*mi)(u'*xj_(i)-u'*mi)'

          =u'*Swi*u

总类内: Sw~=u'*Sw*u

类间：  SB~=u'*SB*u

 

6.Fisher判别函数

 

JF(u)=SB~/Sw~=(u'*SB*u)/(u'*Sw*u)

这个值越大，说明变换后越容易区分（求导后应该是一个矢量，如何有大小之分）

 

让其对u求导（需要利用二次型对其矢量求导的公式）：

dJF/du=(2*(u'*Sw*u)*SB*u-2*(u'*SB*u)*Sw*u)/(u'*Sw*u)^2=NON(表示空）

令 lamda=u'*Sb*u/u'*Sw*u,则 (lamda是标量。为什么？）

SB*u=lamda*Sw*u

 

7.u的求解

当N较大时，Sw通常是非奇异的：（|Sw|~=0,即 Sw是可逆的）

Sw^-1*SB*u=lamda*u

于是演变为求特征值和特征向量的情况

 

上式展开：

Sw^-1*（m1-m2)*(m1-m2)'*u=lamda*u

 

考虑到(m1-m2)'*u=a(a是标量），而且我们只关心u的方向，而不关心大小：

u=Sw^-1*(m1-m2)