AI-统计学习（2）-模型-K近邻

K近邻算法

1. K近邻模型解决的问题：二分类、多分类、回归。
2. K近邻模型适用条件：非线性可分，局部信息，用完后需要训练集数据 存储方法影响结果。没有很强的假设。

3. K近邻算法的模型复杂度体现在哪？什么情况下会造成过拟合？

   模型复杂度体现在K值上

   K值比较小的时候容易造成过拟合

   K值比较大的时候容易造成欠拟合。

 

  1.什么是K近邻，三要素 距离度量、K值选择、分类决策规则

   2.策略：损失函数

   3.求解算法

---

 

  1.什么是K近邻，三要素 （距离度量、K值选择、分类决策规则）

       附近的K个点是什么，那被预测的点就是什么。

      模型 K近邻方法是没有显示模型形式的。

       邻域里是什么，被预测值就是什么。

 

           

           

     1.1距离度量

          度量一般分三种

 

          P=1,P=2,P=无穷 P=2就是欧式距离.

         那么其他两种存在的意义是什么？

       

         

 

     1.2 K值选择

           应该怎么选？

           交叉验证 分训练集-验证集 验证集（真实类别）中选不同K值，对比后确定K值。  

     1.3分类决策规则

            

 

       多数表决

       找损失最小

2.策略：损失函数

3.求解算法：kd树

       存储数据的方法影响预测结果。