[机器学习算法系列] KNN (k-近邻算法)

[机器学习算法系列] KNN (K-Nearest Neighbor, k-近邻算法)

---

算法分类

• 监督学习

目的

• 对数据进行分类
• eg. 下图中蓝色点是属于绿色阵营还是红色阵营？

优缺点分析

优点:

• 精度高
• 对异常值不敏感

缺点 :

• 计算复杂度十分高

算法核心

• 依靠欧式距离公式来计算距离，可以应用到多维

  d=sqrt( ∑(xi1-xi2)^2 ) 这里i=1,2..n

• k 的意义: 取离目标点最近的k个点

KNN 流程

• 数据准备:
  • 样本点集
  • 样本类别
• 算法过程:
  • 为每个预测点计算与所有样本点之间的距离 (这就是为什么算法复杂度高, 数据不可复用，没有训练意义)
  • 取离目标点最近的k个样本点，选择k中数量最多的类型作为目标点的类别

伪代码

/**
parameters:
inputVec: 输入向量
dataSet : 原始数据集(基本元素为样本向量)
dataClassVect: 样本类别向量
k : 取最近的k个点
return :
类别
*/
classify(inputVec, dataSet, dataClassVect, k):
//key->距离 value->类别
distances = {}
for i=0 to dataSet.len:
distances.add(calculateDistance(intputVec, data), dataClassVect[i])
distances.sortByKey_asc()

//key->类别 value->出现次数
classCount = {}
for i=0 to k:
classCount[distances[i]]++
classCount.sortByValue_desc()
return classCount.first().key()