[集成学习] bagging和boosting

Bagging ( Boostrap Aggregating)

对样本再采样（Boostrap），对每一重采样的子样本训练一个模型，最后取平均，所以是降低模型的variance。

Bagging比如Random Forest这种先天并行的算法都有这个效果。

Boosting则是迭代算法，每一次迭代都根据上一次迭代的预测结果对样本进行加权，所以随着迭代的不断进行，误差会越来越小，所以模型的bias会不断降低。这种算法无法并行，比如Adaptive Boosting