xgboost

xgboost

基本概念

Given dataset

a tree ensemble model uses K additive functions to predict the output

where, 是CART的集合

优化目标

其中，为正则项

when train the model in additive manner, minimize the objective for

也即，拟合的是和的差值

基于二阶泰勒展开

这是一条过点的二次曲线，是在附近的近似
则可以针对进行二次近似

进一步化解

其中