Bootstrap(自助法)，Bagging，Boosting(提升)
Bootstrap(自助法)，Bagging，Boosting(提升)
通俗易懂：http://www.jianshu.com/p/708dff71df3a
-
Bootstrap：
就是一个在自身样本重采样的方法来估计真实分布的问题
-
集成学习（ensemble learning）：
结合后能得到更合理的边界，减少整体错误，实现更好的分类效果。
bagging和boosting都是集成学习（ensemble learning）领域的基本算法。
- Bagging代表算法-RF(随机森林) RF:Random Forest
1.训练样本选择方面的Random：
Bootstrap方法随机选择子样本
2.特征选择方面的Random：
属性集中随机选择k个属性，每个树节点分裂时，从这随机的k个属性，选择最优的。
- Boosting是一种框架算法，用来提高弱分类器准确度的方法。
算法代表--Adaboost(Adaptive Boosting)
算法本身是改变数据分布实现的，它根据每次训练集之中的每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。
将修改权值的新数据送给下层分类器进行训练，然后将每次训练得到的分类器融合起来，作为最后的决策分类器。
adaboost算法总结如下：
当分类结果与标签不同时ym(xj)≠tj，指示函数I(ym(xj)≠tj)等于1，否则等于0。
最小化目标函数Jm=∑nj=1w(m)jI(ym(xj)≠tj)时可以先按照权重进行采样得到新的训练集，然后在这个训练集上训练子分类器。
-
GBDT：http://www.cnblogs.com/liuwu265/p/4694191.html
