boosting 和 bagging 区别

boosting类算法 和 bagging类算法最本质的差别在于他对基础模型不是一致对待的，而是经过不停的考验和筛选来挑选出“精英”，然后给精英更多的投票权，表现不好的基础模型则给较少的投票权，然后综合所有人的投票得到最终结果。

大部分情况下，经过 boosting 得到的结果偏差（bias）更小。

具体过程：

1. 通过加法模型将基础模型进行线性的组合。
2. 每一轮训练都提升那些错误率小的基础模型权重，同时减小错误率高的模型权重。
3. 在每一轮改变训练数据的权值或概率分布，通过提高那些在前一轮被弱分类器分错样例的权值，减小前一轮分对样例的权值，来使得分类器对误分的数据有较好的效果。

根据个体学习器的不同，集成学习方法大致可分为两大类：即个体学习器间存在强依赖关系，必须串行生成的序列化方法以及个体学习器间不存在强依赖关系、可同时生成的并行化方法；前者代表是Boosting，后者代表是Bagging和“随机森林”。