Boosting

 

 

 

 

 

Boosting 的思想主要是从一个weak learner出发，经过迭代得到一系列weak learner，最后结合这一系列weak learner得到一个strong learner。

Boosting是一个加总模型，但他与广义的加总模型有所区别，广义的加总模型中每一个weak learner仅包含一个变量，并且仅有p个方程最终被用于加总。在Boosting中，每一个ft(x)可能会包含所有的变量，并且最终用于加总的方程数量（T）可能极大。

Boosting也区别于随机森林模型。在随机森林模型中，每一个树是独立生成的，所以它们没法borrow information from each other。

AdaBoost 是一个特例，它用到了Exponential loss。类似的，我们可以利用square loss用于回归模型。

在这个分类模型中，我们用labels y_i={1,-1}来表示分类结果。