xgboost学习笔记

一句话定义xgboost

很简单：Xgboost就是由很多CART树集成。

什么是CART树？

数据挖掘或机器学习中使用的决策树有两种主要类型：

分类树分析是指预测结果是数据所属的类（比如某个电影去看还是不看）
回归树分析是指预测结果可以被认为是实数（例如房屋的价格，或患者在医院中的逗留时间）
而术语分类回归树（CART，Classification And Regression Tree）分析是用于指代上述两种树的总称，由Breiman等人首先提出。

Bagging vs Boosting

Bagging 是用很多弱分类器，因为分类器都会 过 拟合。 例如，请很多 专家 来评判一个问题
Boosting是用很多弱分类器，因为分类器都会 欠 拟合。 例如，请很多小学生来评判一个问题

xgboost预处理的数据要求

xgboost 树模型其实是不建议使用one-hot编码，在xgboost上面的 issue 也提到过，相关的说明如下

提升树，基于残差的训练

1、用模型1 预测的 结果y1-真实结果y= 残差0
2、用模型2 预测 ，残差0当做真实的结果， 预测值 y2-残差0=残差1
3、用模型3 .......