简单分类算法

简单的分类算法

朴素贝叶斯分类算法

1. 求解先验概率：C为一个类别集合，$c_i$是第i个类别，求解概率$P(c_i)$

2. 求解类别条件概率：x为一个待分类项，$a_k$是x的第k个特征属性，假设这些属性相互独立

   $P(x|c_i)=P(a_0|c_i)P(a_1|c_i)...P(a_n|c_i)$

3. 代入朴素贝叶斯判别公式

   $P(c_i|x)=\frac{P(x|c_i)P(c_i)}{P(x)}$

   因为P(x)用于归一化，对于所有类别相同，因此对于一般分类问题不计算P(x)

   所以最终公式为$P(c_i|x)=P(x|c_i)P(c_i)$

4. 比较$P(c_i|x)$最大的值，说明x属于$ c_i$类型

KNN分类算法

欧氏距离：$ED=\sqrt{(x_2-x_1{)}^2+(y_2-y_1{)}^2}$

曼哈顿距离：$MD=|x_2-x_1|+|y_2-y_1|$

1. 原理：

   它根据距离函数计算待分类样本X和每个训练样本的距离（作为相似度），选择与待分类样本距离最小的K个样本作为X的K个最近邻，最后以X的K个最近邻中的大多数样本所属的类别作为X的类别。

2. 算法流程

   1. 初始化距离为最大值
   2. 计算待测试样本与每个训练样本的距离
   3. 找到最小k个中最大距离
   4. 收集这k个最近样本
   5. 统计k个样本中每个类别出现次数，最多的类别即为测试样本的类别