KNN算法

机器学习算法完整版见fenghaootong-github

KNN算法

kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

三要素：k值选择、距离矢量、分类决策规则

k值选择

• 应用中，k值一般取一个较小的数值

如果k=3，在已有的分类样本上，这时来了一个新样本，那么这个新样本所属的类就是在最临近的三个样本中占较大比重的那一类。

距离矢量

• 特征空间中两个实例点的距离是两个实例点相似程度的反映
• K近邻模型的特征空间的距离一般为欧式距离，也可以是Lp$L_p$距离：

Lp(xi→,xj→)=(∑nl=1|x(l)i−x(l)i|p)1/p$L_p(\overrightarrow{x_i},\overrightarrow{x_j})=(\sum _{l=1}^n|x_i^{(l)}-x_i^{(l)}{|}^p{)}^{1/p}$

xi→,xj→∈χ=Rn$\overrightarrow{x_i},\overrightarrow{x_j}\in \chi ={\mathbb{R}}^n$
xi→=(x(1)i,x(2)i,...,x(n)i)T$\overrightarrow{x_i}=(x_i^{(1)},x_i^{(2)},...,x_i^{(n)}{)}^T$
xj→=(x(1)j,x(2)j,...,x(n)j)T$\overrightarrow{x_j}=(x_j^{(1)},x_j^{(2)},...,x_j^{(n)}{)}^T$
p≥1$p\ge 1$

• 当p=2时，为欧式距离：L2(xi→,xj→)=(∑nl=1|x(l)i−x(l)i|2)1/2$L_2(\overrightarrow{x_i},\overrightarrow{x_j})=(\sum _{l=1}^n|x_i^{(l)}-x_i^{(l)}{|}^2{)}^{1/2}$
• 当p=1时，为曼哈顿距离：L1(xi→,xj→)=∑nl=1|x(l)i−x(l)i|$L_1(\overrightarrow{x_i},\overrightarrow{x_j})=\sum _{l=1}^n|x_i^{(l)}-x_i^{(l)}|$
• 当p=∞$\mathrm{\infty }$无穷大时，为各维度距离中的最大值：L∞(xi→,xj→)=maxl|x(l)i−x(l)i|$L_{\mathrm{\infty }}(\overrightarrow{x_i},\overrightarrow{x_j})=ma{x}_l|x_i^{(l)}-x_i^{(l)}|$

分类决策规则

• 误分类率

1k∑xi→∈Nk(x⃗ )I(yi≠cj)=1−1k∑xi→∈Nk(x⃗ )I(yi=cj)$\frac{1}{k}\sum _{\overrightarrow{x_i}\in N_k(\overrightarrow{x})}I(y_i\ne c_j)=1-\frac{1}{k}\sum _{\overrightarrow{x_i}\in N_k(\overrightarrow{x})}I(y_i=c_j)$

cj$c_j$表示类别

• 多数表决

y=cj=argmaxcj∑xi¯¯¯¯¯∈Nk(x¯¯¯)I(yi≠cj),i=1,2,3,...,N;j=1,2,3,...,K$y=c_j=argma{x}_{c_j}\sum _{\overline{x_i}\in N_k(\overline{x})}I(y_i\ne c_j),i=1,2,3,...,N;j=1,2,3,...,K$

KNN算法经典实例

KNN算法经典实例