机器学习之提升方法

提升方法包含两大思想：Bagging和Boosting

Bagging 和 Boosting 都是一种将几个弱分类器（可以理解为分类或者回归能力不好的分类器）按照一定规则组合在一起从而变成一个强分类器。但二者的组合方式有所区别。

一、Bagging

　　Bagging的思想很简单，我选取一堆弱分类器用于分类，然后最终结果投票决定，哪个票数多就属于哪一类。不过Bagging的一个重要步骤就是在训练每一个弱分类器的时候不是用整个样本来做分类，而是在样本中随机抽取一系列的样本集，可以重复也可以数目少于原样本，这就是Bootstraping。Bagging的思想简单，应用很广泛，最出名的应用就是Random Forest。

     随机森林顾名思义，是用随机的方式建立一个森林，森林里面有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的。在得到森林之后，当有一个新的输 入样本进入的时候，就让森林中的每一棵决策树分别进行一下判断，看看这个样本应该属于哪一类（对于分类算法），然后看看哪一类被选择最多，就预测这个样本 为那一类。

      在建立每一棵决策树的过程中，有两点需要注意 - 采样与完全分裂。首先是两个随机采样的过程，random forest对输入的数据要进行行、列的采样。对于行采样，采用有放回的方式，也就是在采样得到的样本集合中，可能有重复的样本。假设输入样本为N个，那 么采样的样本也为N个。这样使得在训练的时候，每一棵树的输入样本都不是全部的样本，使得相对不容易出现over-fitting。然后进行列采样，从M 个feature中，选择m个(m << M)。之后就是对采样之后的数据使用完全分裂的方式建立出决策树，这样决策树的某一个叶子节点要么是无法继续分裂的，要么里面的所有样本的都是指向的同一 个分类。一般很多的决策树算法都一个重要的步骤 - 剪枝，但是这里不这样干，由于之前的两个随机采样的过程保证了随机性，所以就算不剪枝，也不会出现over-fitting。

      按这种算法得到的随机森林中的每一棵都是很弱的，但是大家组合起来就很厉害了。我觉得可以这样比喻随机森林算法：每一棵决策树就是一个精通于某一个窄领域 的专家（因为我们从M个feature中选择m让每一棵决策树进行学习），这样在随机森林中就有了很多个精通不同领域的专家，对一个新的问题（新的输入数 据），可以用不同的角度去看待它，最终由各个专家，投票得到结果。

二、Boosting

　　Booting的思想与Bagging有所不同。第一个不同，在输入样本的选取上，Bagging是随机抽取样本，而Boosting则是按照前一个分类器的错误率来抽取样本。好比前一个分类器在样本A,B,F上出错了，那么我们会提升抽取这三个样本的概率来帮助我们训练分类器。第二个不同，在弱分类器组合上，Bagging就是投票就好啦，但是Boosting确实不是这样，Boosting主要是将分类器线性组合起来，以为着分类器前面带着个权重，错误率高的分类器的权重会低一些，正确率高的则高一些，这样线性组合起来就是最终的结果。当然也有非线性组合的权重，但在这里就不赘述了。Boosting最出名的应用就是Gradient Boosting Decision Tree及Ababoost。

未完待续......