机器学习，交叉验证

本文结构：

  • 什么是交叉验证法？
  • 为什么用交叉验证法？
  • 主要有哪些方法？优缺点？
  • 各方法应用举例？

什么是交叉验证法？

它的基本思想就是将原始数据（dataset）进行分组，一部分做为训练集来训练模型，另一部分做为测试集来评价模型。

为什么用交叉验证法？

  1. 交叉验证用于评估模型的预测性能，尤其是训练好的模型在新数据上的表现，可以在一定程度上减小过拟合。
  2. 还可以从有限的数据中获取尽可能多的有效信息。

 

主要有哪些方法？

1. 留出法 （holdout cross validation）Hold-Out Method

在机器学习任务中，拿到数据后，我们首先会将原始数据集分为三部分：训练集、验证集和测试集。
训练集用于训练模型，验证集用于模型的参数选择配置，测试集对于模型来说是未知数据，用于评估模型的泛化能力。

这个方法操作简单，只需随机把原始数据分为三组即可。
不过如果只做一次分割，它对训练集、验证集和测试集的样本数比例，还有分割后数据的分布是否和原始数据集的分布相同等因素比较敏感，不同的划分会得到不同的最优模型，而且分成三个集合后，用于训练的数据更少了。

但是这种划分方式存在一个主要的缺陷：

如果我们的划分方式并不是随机的呢？比如，我们数据的某个子集只有来自于某个州的人，或者某个子集中只含有某一特定水平收入的员工，又或者子集中只含有女性或特定年龄的人，这时我们该怎么办？尽管我们一直在极力避免，但是这些情况都将导致模型的过拟合，因为此时无法确定哪些数据点会出现在验证集中，并且针对不同的数据集，模型的预测结果也可能完全不同。因此，只有当我们拥有充足的数据时，这种做法才是合适的。

Python 的实现方式：sklearn.model_selection.train_test_split

 

2. k 折交叉验证（k-fold cross validation）

 

　　是在train data 上进行的交叉验证训练

 

 

k 折交叉验证通过对 k 个不同分组训练的结果进行平均来减少方差，因此模型的性能对数据的划分就不那么敏感。

  • 第一步，不重复抽样将原始数据随机分为 k 份。
  • 第二步，每一次挑选其中 1 份作为测试集，剩余 k-1 份作为训练集用于模型训练。
  • 第三步，重复第二步 k 次，这样每个子集都有一次机会作为测试集，其余机会作为训练集。
  • 在每个训练集上训练后得到一个模型，
  • 用这个模型在相应的测试集上测试，计算并保存模型的评估指标，
  • 第四步，计算 k 组测试结果的平均值作为模型精度的估计，并作为当前 k 折交叉验证下模型的性能指标。

k 一般取 10，
数据量小的时候，k 可以设大一点，这样训练集占整体比例就比较大，不过同时训练的模型个数也增多。
数据量大的时候，k 可以设小一点。

 

3. 留一法（Leave one out cross validation），

当 k 折交叉验证 k＝m 即样本总数时，叫做留一法, 每次的测试集都只有一个样本，要进行 m 次训练和预测。
这个方法用于训练的数据只比整体数据集少了一个样本，因此最接近原始样本的分布。
但是训练复杂度增加了，因为模型的数量与原始数据样本数量相同。
一般在数据缺乏时使用。

 

4. Double Cross Validation（2-fold Cross Validation，记为2-CV）

做法是将数据集分成两个相等大小的子集，进行两回合的分类器训练。在第一回合中，一个子集作为training set，另一个便作为testing set；在第二回合中，则将training set与testing set对换后，再次训练分类器，而其中我们比较关心的是两次testing sets的辨识率。不过在实务上2-CV并不常用，主要原因是training set样本数太少，通常不足以代表母体样本的分布，导致testing阶段辨识率容易出现明显落差。此外，2-CV中分子集的变异度大，往往无法达到“实验过程必须可以被复制”的要求。

各方法应用举例？

1. 留出法 （holdout cross validation）

>>> import numpy as np
>>> from sklearn.model_selection import train_test_split
>>> from sklearn import datasets>>> iris = datasets.load_iris()
>>> iris.data.shape, iris.target.shape
((150, 4), (150,))

 

>>> X_train, X_test, y_train, y_test = train_test_split(
...     iris.data, iris.target, test_size=0.4, random_state=0)

>>> X_train.shape, y_train.shape
((90, 4), (90,))
>>> X_test.shape, y_test.shape
((60, 4), (60,))

 

2. k 折交叉验证（k-fold cross validation）

>>> from sklearn.model_selection import cross_val_score
>>> clf = svm.SVC(kernel='linear', C=1)
>>> scores = cross_val_score(clf, iris.data, iris.target, cv=5)
>>> scores                                              
array([ 0.96...,  1.  ...,  0.96...,  0.96...,  1.        ])

得到最后平均分为 0.98，以及它的 95% 置信区间：

>>> print("Accuracy: %0.2f (+/- %0.2f)" % (scores.mean(), scores.std() * 2))
Accuracy: 0.98 (+/- 0.03)

 

我们可以直接看一下 K-fold 是怎样划分数据的：
X 有四个数据，把它分成 2 折，
结果中最后一个集合是测试集，前面的是训练集，
每一行为 1 折：

>>> import numpy as np
>>> from sklearn.model_selection import KFold

>>> X = ["a", "b", "c", "d"]
>>> kf = KFold(n_splits=2)
>>> for train, test in kf.split(X):
...     print("%s %s" % (train, test))
[2 3] [0 1]
[0 1] [2 3]

 

同样的数据 X，我们看 LeaveOneOut 后是什么样子，
那就是把它分成 4 折，
结果中最后一个集合是测试集，只有一个元素，前面的是训练集，
每一行为 1 折：

>>> from sklearn.model_selection import LeaveOneOut

>>> X = [1, 2, 3, 4]
>>> loo = LeaveOneOut()
>>> for train, test in loo.split(X):
...     print("%s %s" % (train, test))
[1 2 3] [0]
[0 2 3] [1]
[0 1 3] [2]
[0 1 2] [3]
 
资料：
机器学习
https://www.jianshu.com/p/40541aa440c7

 

posted @ 2018-12-26 15:48  戒骄戒躁-沉淀积蓄  阅读(446)  评论(0)    收藏  举报