k近邻

k近邻(k-NearestNeighbor)算法简称kNN。基本思想简单直接，对于一个需要分类的数据实例x，计算x与所有已知类别的样本点在特征空间中的距离。取与x距离最近的k个样本点，统计这些样本点所属占比最大的类别，作为x的分类结果。下图中与绿色点最近的3个点中，2个属于红色类别，则认为x属于红色的类。然而当k=5时，5个最近的点中有3个是蓝色，则认为绿色点属于蓝色类别。

假如在美国某个小镇上，一户人家最近的二十户邻居里面有十四户华裔，三户非裔，三户美国本土居民。我让你猜这户人家是什么人，我想你大概会猜是中国移民。其实这跟k近邻的思想一致，这里k=20。

 

 

下面的实例来自《机器学习实战》。

一个女性收集了约会网站中的男人的三个属性作为特征：每年飞行里程、每月打游戏时间的占比，每周消费冰淇淋公升数。她将曾经约会的男人打上标签：不喜欢、一般魅力，极具魅力。为了决定是否跟一个新的男人约会，她想在见面前判断这个男人是不是自己喜欢的类型。下面来两幅图分别是{每月打游戏时间的占比，消费冰淇淋公升数}、{每月打游戏时间的占比，每年飞行里程}的二维图形展示。可以看出使用{每月打游戏时间的占比，每年飞行里程}可以较好地将男人分成三类。

生成图形的代码：

datingDataMat, datingLabels = kNN.file2matrix("datingTestSet2.txt")

#print(datingDataMat)
#print(datingLabels[0:20])

fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(datingDataMat[:,0],datingDataMat[:,1], 20.0*array(datingLabels), 15.0*array(datingLabels))
plt.xlabel(u"飞行里程/年", fontproperties='SimHei')
plt.ylabel(u"玩游戏时间百分比", fontproperties='SimHei')
plt.show()

 kNN算法流程图：

 

值得注意的是在最开始的时候要将个特征值进行归一化，否则在计算样本点与待分类点的距离时将由于各个特征的数值的相对大小不同而导致错误。

 

下面的代码选择datingTestSet2.txt中的一半作为已标记样本集合，对另外一半的样本进行分类。设置k=3，分类正确率为92%。设置k=10时，分类正确率几乎不变，观察{每月打游戏时间的占比，每年飞行里程}的散点图，我认为是处在分类边界上的点以及已标记样本的数量太小导致了分类的正确率无法进一步提升。若使用95%的样本作为已标记样本，对另外的5%的样本类别进行预测，准确率为98%。

#kNN文件参考《机器学习实战》的源码
#源码以及数据集下载链接:http://download.csdn.net/detail/u012491566/6474803
normMat, ranges, minVals = kNN.autoNorm(datingDataMat)
#print('normMat: ', normMat)
#print('ranges: ', ranges)
#print('minVals', minVals)

length = normMat.shape[0]
ratio =0.95
numSample = int(ratio*length)
numtest = length - numSample

errCnt =0
for i in range(numtest):
    val = kNN.classify0(normMat[i,:], normMat[numtest:length,:], datingLabels[numtest:length], 10)
    if(val != datingLabels[i]):
        errCnt +=1
    
precision = 1-errCnt/numtest

print('precision of prediction:', precision)

 

kNN算法分析：

kNN算法简单有效，对异常数据不敏感，无数据输入假定。且可以处理分类以及回归问题(对于回归问题，可以将最近的k个点的均值作为该点的预测值)。然而，kNN算法需要保存已知样本集，空间复杂度高；由于需要对每个待分类点计算与所有已知样本点的距离，时间复杂度高。不仅如此，k近邻算法只注重分类点在特征空间中位置信息，并没有去真正理解数据的内在含义。