K近邻算法

1.K近邻分类

      K近邻分类的思想是：在对新数据点进行预测，算法会在训练集中找到最近的数据点，也就是它的最近邻。除了考虑最近邻，我们还可以考虑(K)个邻居。这就是k近邻算法名字的由来。在考虑多于一个得邻居时，我们用" 投票法(voting)" 来决定预测的结果，也就是选取K个邻居中所属类别最多的一类最为预测的结果。

     在使用sklearn.neighbors.KneighborsClassifier时，随着K的的增大，模型的泛化性能得到提升，但是训练集模型的性能会下降。

 

 

2.K近邻回归

   K-NN除了可以用于分类，同时还能用于回归。在使用多近邻回归时，预测结果为这些邻居的平均值。

 

总结：K-NN的优点是算法思想简单，在小数据集上速度和性能都不错，但是在训练集很大时，预测速度会很慢。