机器学习西瓜书笔记---3.4、线性判别分析

机器学习西瓜书笔记---3.4、线性判别分析

一、总结

一句话总结：

【线性判别分析（Linear Discriminant Analysis，简称LDA）】是一种经典的【线性学习方法】，在【二分类问题】上因为最早由 Fisher，1936]提出，亦称“Fisher判别分析”

 

1、线性判别分析LDA的思想？

LDA的思想非常朴素：给定训练样例集，设法将样例【【投影】到一条【直线】上，使得【同类样例】的【影点尽可能接近】、【异类样例的投影点尽可能远离】】；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别.图33给出了一个二维示意图

图33LDA的二维示意图. “+”、“-”分别代表【正例和反例】，椭圆表示数据簇的外轮廓，虚线表示投影，红色实心圆和实心三角形分别表示两类样本投影后的中心点

其实就是【正样本和负样本之间各自靠近，正负样本远离】，非常符合直观

 

2、线性判别分析LDA的用途？

若将W视为一个投影矩阵，则多分类LDA将样本投影到N-1维空间N-1通常【远小于数据原有的属性数】.

于是，可通过这个投影来【减小样本点的维数】，且投影过程中使用了类别信息，因此LDA也常被视为一种【经典的监督降维技术】

 

 

二、内容在总结中

博客对应课程的视频位置：