集成学习算法

Bagging是并行的学习算法，思想很简单，即每一次从原始数据中根据均匀概率分布有放回的抽取和原始数据集一样大小的数据集合。样本点可以出现重复，然后对每一次产生的数据集构造一个分类器，再对分类器进行组合。

Boosting的每一次抽样的样本分布是不一样的，每一次迭代，都是根据上一次迭代的结果，增加被错误分类的样本的权重。使模型在之后的迭代中更加注重难以分类的样本。这是一个不断学习的过程，也是一个不断提升的过程，这就是Boosting思想的本质所在。

还有stacking，stacking是不同的算法模型集成。

 

 1. 集成学习（Ensemble Learning）原理 - hyc339408769 - 博客园 (cnblogs.com)

2. 集成学习（Ensemble Learning）Bagging - hyc339408769 - 博客园 (cnblogs.com)

3. 集成学习（Ensemble Learning）随机森林（Random Forest） - hyc339408769 - 博客园 (cnblogs.com)

4. 集成学习（Ensemble Learning）Adaboost - hyc339408769 - 博客园 (cnblogs.com)

5. 集成学习（Ensemble Learning）GBDT - hyc339408769 - 博客园 (cnblogs.com)

6. 集成学习（Ensemble Learning）算法比较 - hyc339408769 - 博客园 (cnblogs.com)

7. 集成学习（Ensemble Learning）Stacking - hyc339408769 - 博客园 (cnblogs.com)

 

博客园里面有个博主写集成学习挺全面的，总结也挺好，可以直接学习。

 

还有刘建平写的集成学习系列以及使用sklearn库来实现集成学习，总结也挺好

https://www.cnblogs.com/pinard/p/6131423.html

 

 

六、集成学习一、决策树 - 简书 (jianshu.com)

六、集成学习二、集成学习（Bagging、Stacking） - 简书 (jianshu.com)

六、集成学习三、集成学习（Boosting、一) - 简书 (jianshu.com)

六、集成学习四、集成学习（Boosting、二) - 简书 (jianshu.com)

六、集成学习五、集成学习（Boosting、三) - 简书 (jianshu.com)

七、集成学习代码 - 简书 (jianshu.com)

七、集成学习代码二 - 简书 (jianshu.com)

 

参考资料

1、https://mp.weixin.qq.com/s/QwogKZ1gaqYVJMFl2f08UA

2、https://mp.weixin.qq.com/s/BIHr5GDunm2U-Szs0Dt32w

3、https://mp.weixin.qq.com/s/3jLcL3g5tJuWqPygsG09Yg

4、https://mp.weixin.qq.com/s/I41c-i-6y-pPdZOeiMM_0Q

5、https://mp.weixin.qq.com/s/AAKPSIHk1iUqCeUibrORqQ

6、https://mp.weixin.qq.com/s/hS7Luq8BCamXD7VAr0nSPg

7、https://mp.weixin.qq.com/s/5HxXLTH-atJckSCHsj3BTg

8、https://zhuanlan.zhihu.com/p/27689464

9、https://www.cnblogs.com/henuliulei/p/11831153.html

10、一篇文章搞定GBDT、Xgboost和LightGBM的面试 - 知乎 (zhihu.com)

11、Kaggle知识点：集成学习基础 (qq.com)