弄懂GBDT、xgboost、adaboost

回归树参考：https://zhuanlan.zhihu.com/p/82054400

回归树：CART同样由特征选择、树的生成及剪枝组成，既可以用于分类也可以用于回归。

分类过程：

输入空间确定的时候用均方误差，CART回归树采用启发式的方法对输入空间进行划分，选择第j个变量  和它取的值s，作为切分变量（splitting variable）和切分点（splitting point）

遍历所有输入变量，找到最优的切分变量j，构成一个对（j, s）。依此将输入空间划分为两个区域。接着，对每个区域重复上述划分过程，直到满足停止条件为止。这样就生成一颗回归树。这样的回归树通常称为最小二乘回归树