线性分类器（线性判别、感知器、多类分类）

1. 线性分类器

1.1 线性判别函数

1.2 Fisher线性判别分析

1.2.1 引言

在机器学习中解决高维特征的一种经典思路是对原有的高维数据进行降维，希望新的低维空间尽可能地表达出数据的组成结构和分类信息。

故线性判别分析出发点将所有样本都投影到低维空间，使在低维空间上最易于分类，寻找最佳投影方向

在有监督地情况下，Fisher线性判别分析（LDA,Linear Discriminative Analysis）是一种经典的方法

选择的投影方向应当满足在低维投影中最优地蕴含着类别信息：同一类别的投影尽可能地靠近，而不同类别的投影尽可能地区分开

LDA既可以实现降维，也能完成分类

1.2.2 Fisher二分类

两步分类器设计：

• 确定最优投影方向
• 在这个方向上确定分类阈值

目标：使两类样本投影的均值之差尽可能大些，而使类内样本的离散程度尽可能小

1.2.3 Fisher进一步理解

使用类别的先验知识，是有监督的分类方法

Fisher线性判别主要适用于线性可分的问题，不仅适用于两类问题，还可扩展到多类问题中去。对于线性不可分的情况，Fisher无法确定分类。

Fisher方法可直接求解获得权向量

Fisher方法能够使投影后模式样本的类间散布矩阵最大，并且同时类内散布矩阵最小。就是说，它能够保证投影后模式样本在新的空间中有最小的类内距离和最大的类间距离，即模式在该空间中有最佳的可分离性

1.2.3 LDA 降维

LDA降维最多降到类别数k-1的维数

若降维后需要保留更多特征，就不能使用LDA

1.2.4 LDA多分类

当使用LDA处理多分类问题时，通常是作为一个降维工具来使用

• 多分类任务
  • 一对多
  • 一对一
  • 直接设计多类分离器

1.3 感知器算法

感知准则函数是五十年代由Rosenblatt提出的一种自学习判别函数生成方法，由于Rosenblatt企图将其用于脑模型感知器因此被称为感知准则函数。

其特点是随意确定的判别函数初始值，在对样本分类训练过程中逐步修正直至最终确定

1.3.1 线性判别函数

1.3.2 线性可分性

1.3.3 样本规范化

1.3.4 感知器准则函数

用对所有错分样本的求和来表示对错分样本的惩罚

\(如果样本y_{k}被错分，则有 \alpha^{T}y_{k} < 0, 因此可定义如下的感知准则函数：\)

$ J_{p}(\alpha) = \sum_{y_{j} \epsilon \gamma^{k}} (-\alpha^{T}y_{j})$

\(J_{p}(\alpha^{*}) = minJ_{p}(\alpha) = 0时，无错分样本\)

1.3.5 感知器函数求解

1.3.6 梯度下降法求解示例

1.3.7 单样本修正法

通常，一次将所有错误样本进行修正不是效率最高的做法，更常用是每次只修正一个样本或一批样本的固定增量法

单样本修正法:把样本集看做一个不断重复出现的序列而逐个加以考虑。对于任意权向量a(k)，如果他把某个样本分错了则对a(k)做一次修正。这种方法称为单样本修正法

1.3.7.1 例子

1.3.8 感知器小结

感知器是最简单可以“学习”的机器，可以解决线性可分的问题，当样本线性不可分时，感知器算法不会收敛。

这种利用错误提供的信息，进行自修正的思想意义是十分深远的这种只解决线性分类的感知器称为单层感知器

实际应用中直接使用感知器的场合并不多，但它是很多复杂算法的基础。
由单层感知机基础上发展起来的多层感知器在原理上能解决非线性分类、多类划分，以及非线性拟和非线性映射等多种功能

1.3.9 利用感知准则实现多类判别

1.3.9.1 定义

1.3.9.2 逐步修正法求多类线性机器

1.3.9.3 利用感知准则实现多类判别

1.3。9.4 例子

2. 多类问题

2.1 两种基本思路

1. 把多类问题分解成多个两类问题
   两种典型做法：一对多与逐对分类

2. 直接设计多类分类器

2.2 三种情况

2.2.1 绝对可分

2.2.2 成对（pairwise）可分

2.2.2.1 概要

对多类中的每两类构造一个分类器

每类转化为c - 1个两类问题（pairwise）：
$ \omega_{i} 与 \omega{j}, j \neq i$

C类则C（C-1）个两类问题，但其中半数相同，故C类转化为$ \frac{c(c-1)}{2}$个两类问题

对比一对多：

• 多用很多两类分类器
• 不会出现样本不均衡问题
• 决策歧义区域相对较小

2.2.3 最大值判决

2.2.3.1 概要

2.2.3.2 例子

2.3 多类问题小结

对于多类问题，模式有 $ \omega_{1}, \omega_{2}, ……, \omega_{m}$个类别。可分三种情况:

• 第一种情况:绝对可分

• 第二种情况:成对可分

• 第三种情况:直接多类分类

• 第一、二中情况:会出现歧义区域，求解计算简单

• 第三种情况:不会出现歧义区域，求解计算复杂，收敛较慢