k近邻9-交叉验证，网格搜索优化模型

1 什么是交叉验证(cross validation)

交叉验证：将拿到的训练数据，分为训练和验证集。以下图为例：将数据分成4份，其中一份作为验证集。然后经过4次(组)的测试，每次都更换不同的验证集。即得到4组模型的结果，取平均值作为最终结果。又称4折交叉验证。

1.1 分析

为了让从训练得到模型结果更加准确，做以下处理

• 训练集：训练集+验证集
• 测试集：测试集
  

1.2 为什么需要交叉验证

• 交叉验证目的：为了让被评估的模型更加准确可信
• 注意: 交叉验证不能提高模型的准确率

2 什么是网格搜索(Grid Search)

• 超参数:
  • sklearn中,需要手动指定的参数,叫做超参数
  • KNN中的超参数，如果电脑的性能不是很好，不要传太多值，运行时间较长
• 网格搜索就是把这些超参数的值,通过字典的形式传递进去,然后进行选择最优值

3 交叉验证，网格搜索（模型选择与调优）API：

sklearn.model_selection.GridSearchCV(estimator, * param_grid=None,cv=None)对估计器的指定参数值进行详尽搜索

参数：

• estimator：选择了哪个训练模型
• param_grid：需要传递的超参数(dict)
• cv：指定几折交叉验证

训练

• fit：输入训练数据
• score：准确率

结果分析：

• best_score_:在交叉验证中验证的最好结果
• best_estimator_：最好的参数模型
• cv_results_:每次交叉验证后的验证集准确率结果和训练集准确率结果

4 鸢尾花案例增加K值调优

• 使用GridSearchCV构建估计器

from sklearn.datasets import load_iris
from sklearn.model_selection import  train_test_split,GridSearchCV
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
import numpy as np
# 1.获取数据
iris=load_iris()
# 2.数据基本处理
# x_train,x_test,y_train,y_test为训练集特征值、测试集特征值、训练集目标值、测试集目标值
x_train,x_test,y_train,y_test=train_test_split(iris.data,iris.target,test_size=0.2,random_state=22)

# 3.特征工程-数据预处理
# 3.1 标准化
transfer=StandardScaler()
x_train=transfer.fit_transform(x_train)
x_test=transfer.transform(x_test)

# 4.模型训练-KNN
# 4.1实例化一个估计器
estimator=KNeighborsClassifier(n_neighbors=5)
# 4.2 模型调优--交叉验证，网格搜索
param_dict = {"n_neighbors": [1, 3, 5]}
estimator = GridSearchCV(estimator, param_grid=param_dict, cv=3)
# 4.3使用估计器进行模型训练
estimator.fit(x_train,y_train)
# 5.模型评估
## 5.1 预测值结果输出
y_pre = estimator.predict(x_test)
print("预测结果为：\n", y_pre)
print("比对真实值和预测值：\n",y_pre == y_test)
## 5.2 准确率计算
score=estimator.score(x_test,y_test)
print("准确率为：\n",score)

• 评估查看最终选择的结果和交叉验证的结果

print("在交叉验证中验证的最好结果：\n", estimator.best_score_)
print("最好的参数模型：\n", estimator.best_estimator_)
print("每次交叉验证后的准确率结果：\n", estimator.cv_results_)

• 最终结果

比对预测结果和真实值：
 [ True  True  True  True  True  True  True False  True  True  True  True
  True  True  True  True  True  True False  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True]
直接计算准确率：
 0.947368421053
在交叉验证中验证的最好结果：
 0.973214285714
最好的参数模型：
 KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
           metric_params=None, n_jobs=1, n_neighbors=5, p=2,
           weights='uniform')
每次交叉验证后的准确率结果：
 {'mean_fit_time': array([ 0.00114751,  0.00027037,  0.00024462]), 'std_fit_time': array([  1.13901511e-03,   1.25300249e-05,   1.11011951e-05]), 'mean_score_time': array([ 0.00085751,  0.00048693,  0.00045625]), 'std_score_time': array([  3.52785082e-04,   2.87650037e-05,   5.29673344e-06]), 'param_n_neighbors': masked_array(data = [1 3 5],
             mask = [False False False],
       fill_value = ?)
, 'params': [{'n_neighbors': 1}, {'n_neighbors': 3}, {'n_neighbors': 5}], 'split0_test_score': array([ 0.97368421,  0.97368421,  0.97368421]), 'split1_test_score': array([ 0.97297297,  0.97297297,  0.97297297]), 'split2_test_score': array([ 0.94594595,  0.89189189,  0.97297297]), 'mean_test_score': array([ 0.96428571,  0.94642857,  0.97321429]), 'std_test_score': array([ 0.01288472,  0.03830641,  0.00033675]), 'rank_test_score': array([2, 3, 1], dtype=int32), 'split0_train_score': array([ 1.        ,  0.95945946,  0.97297297]), 'split1_train_score': array([ 1.        ,  0.96      ,  0.97333333]), 'split2_train_score': array([ 1.  ,  0.96,  0.96]), 'mean_train_score': array([ 1.        ,  0.95981982,  0.96876877]), 'std_train_score': array([ 0.        ,  0.00025481,  0.0062022 ])}