分类算法——k最近邻算法（Python实现）（文末附工程源代码）

kNN算法原理

k最近邻（k-Nearest Neighbor）算法是比较简单的机器学习算法。它采用测量不同特征值之间的距离方法进行分类，思想很简单：如果一个样本在特征空间中的k个最近邻（最相似）的样本中大多数属于某一个类别，则该样本也属于这个类别。

kNN算法的步骤

第一阶段：确定k值（指最近的邻居的个数），一般是一个奇数

第二阶段：确定距离度量公式。文本分类一般使用夹角余弦，得出待分类数据点和所有已知类别的样本点，从中选择距离最近的k个样本：

 

第三阶段：统计这k个样本点钟各个类别的数量

kNN算法的Python实现

第一阶段：可以利用NBayes中的初始化Nbayes_lib.py，点击这里查看

第二阶段：实现夹角余弦的距离公式

from numpy import *
import operator
from Nbayes_pre import *

k=3
#夹角余弦距离公式
def cosdist(vector1,vector2):
    return dot(vector1,vector2)/(linalg.norm(vector1)*linalg.norm(vector2))

 

第三阶段:kNN实现分类器

#kNN分类器

#测试集 testdata，训练集 trainSet，类别标签 listClasses，k k个邻居数

def classify(testdata,trainSet,listClasses,k):

    dataSetSize=trainSet.shape[0]#返回样本集的行数

    distances=array(zeros(dataSetSize))

    for indx in xrange(dataSetSize):

        distances[indx]=cosdist(testdata,trainSet[indx])

    #根据生成的夹角余弦从大到小排序，结果为索引号

    sortedDistIndicies=argsort(-distances)

    classCount={}

    #获取角度最小的前k项作为参考项

    for i in range(k):

        votelIlabel=listClasses[sortedDistIndicies[i]]#按排序顺序返回样本集对应的类别标签

        classCount[votelIlabel]=classCount.get(votelIlabel,0)+1#为字典classCount按value重新排序

    #对分类字典classCount按value重新排序

    #sorted(data.iteritems(),key=operator.itemgetter(1),reverse=True)

    #该句是按字典值排序的固定用法

    #classCount.iteritems():字典迭代器

    #key：排序参数；operator.itemgetter(1):多级排序

    sortedClassCount=sorted(classCount.iteritems(),key=operator.itemgetter(1),reversed=True)

    return sortedClassCount[0][0]#返回序最高的一项



#评估分类结果

dataSet,listClasses=loadDataSet()

nb=NBayes()

nb.train_set(dataSet,listClasses)

#使用之前贝叶斯分类阶段的数据集及生成的TF向量进行分类

print (classify(nb.tf[3],nb.tf,listClasses,k))

工程源代码