机器学习算法学习---模型融合和提升的算法（一）

bagging：bootstrap aggregating 的缩写。
是一种并行式集成学习方法，可用于二分类，多分类，回归等任务。
作者：Alice嘟嘟
链接：https://www.imooc.com/article/49326
来源：慕课网

bagging：bootstrap aggregating 的缩写。
是一种并行式集成学习方法，可用于二分类，多分类，回归等任务。
作者：Alice嘟嘟
链接：https://www.imooc.com/article/49326
来源：慕课网

bagging：bootstrap aggregating 的缩写。
是一种并行式集成学习方法，可用于二分类，多分类，回归等任务。
作者：Alice嘟嘟
链接：https://www.imooc.com/article/49326
来源：慕课网

bagging：bootstrap aggregating 的缩写。
是一种并行式集成学习方法，可用于二分类，多分类，回归等任务。
作者：Alice嘟嘟
链接：https://www.imooc.com/article/49326
来源：慕课网

bagging：bootstrap aggregating 的缩写。
是一种并行式集成学习方法，可用于二分类，多分类，回归等任务。
作者：Alice嘟嘟
链接：https://www.imooc.com/article/49326
来源：慕课网

Bagging即Bootstrap Aggregating的缩写，中文可翻译为自举汇聚法。

 

Bootstrap（自助法）是一种抽样方法。

 

bagging每次从原始数据集中有放回的随机抽样n个样本形成自助训练集，重复S次后得到S个新的训练集。

对每个自助训练集应用弱分类器，这样就得到了S个弱分类器。

最后将预测数据放在这S个弱分类器上计算，计算结果采用投票方式（分类问题）和简单求平均（回归问题）即可。

基本思想：

1.给定一个弱学习算法,和一个训练集;

2.单个弱学习算法准确率不高;

3.将该学习算法使用多次,得出预测函数序列,进行投票;

4.最后结果准确率将得到提高. 

Bagging 和Boosting的区别：
1、样本选择上：
Bagging:训练集是有放回选取的，各轮训练集之间独立
Boosting:每一轮的训练集不变，只是训练集中每个样例在分类器中的权重发生改变。而权值是根据上一轮的分类结果进行调整的
2、样例权重：
Bagging:使用均匀取样，每个样例的权重相等
Boosting:根据错误率不断调整样例的权值，错误率越大权重越大
3、预测函数：
Bagging:所有预测函数的权重相等
Boosting:每个弱分类器都有相应的权重，对分类误差小的分类器会有更大的权重
4、并行计算：
Bagging:各个预测函数可以并行生成
Boosting:各个预测函数只能顺序生成，因为最后一个模型参数需要前一轮的结果
总结：
两种方法都是把若干个分类器整合为以个分类器的方法，只是整合方式不一样，最终得到不一样效果。