KNN算法

*********************************原文    https://www.cnblogs.com/listenfwind/p/10311496.html  ********************************

KNN是有监督学习中的分类算法，和KMeans有点类似，但是KMeans是无监督学习算法。

意思是从K个最近邻的邻居中。原理就是当预测一个新的值x的时候，根据他距离最近的K个点是什么类型来判断X属于哪个类别。

KNN的三要素为：

1   k值的选取

一般是通过交叉验证的方式来选择K值，一般是从一个较小的k值开始，不断增加k的值，然后计算验证集合中的方差。最终找到一个合适的K值。

2  距离度量的计算方式，一般为欧式距离。

3  分类决策规则，一般为多数表决，回归为选择平均法。

 

优点

简单易用    训练时间快   效果预测好   对异常值不敏感  

缺点

对内存要求较高，需要将全部训练数据存储       预测阶段可能会很慢      对不相关的数据较为敏感