k-近邻算法

1. k-近邻算法采用测量不同特征值之间的距离方法进行分类

   优点：精度高、对异常值不敏感、无数据输入假定

   缺点：计算复杂度高、空间复杂度高

   适用数据类型：数值型和标称行

   存在一个样本数据集合，称作为训练样本集。并且样本集中每个数据都存在标签（每一数据与所属分类的对应关系）。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。

2. 流程：

•    收集数据
•    准备数据
•    分析数据
•    训练算法
•    测试算法
•    使用算法

3. knn分类算法：

•    计算已知类别数据集中的点与当前点之间的距离；
•    按照距离递增次序排序；
•    选取与当前点距离最小的k个点；
•    确定前k个点所在类别的出现频率；
•    返回前k个点出现频率最高的类别作为当前点的预测分类。