摘要: lightgbm对于类别变量的处理 效率和内存上的提升 1) 在训练决策树计算切分点的增益时,xgboost采用预排序,即需要对每个样本的切分位置都要计算一遍,所以时间复杂度是O(#data)。 而LightGBM则是将样本离散化为直方图,直方图算法的基本思想是先把连续的浮点特征值离散化成k个整数, 阅读全文
posted @ 2018-05-11 15:04 光彩照人 阅读(2623) 评论(0) 推荐(0)
摘要: 尊重原创 来源: https://blog.csdn.net/a790209714/article/details/78086867 XGBoost的四大改进: ①改进残差函数 不用Gini作为残差,用二阶泰勒展开+树的复杂度(正则项) 带来如下好处: 1.可以控制树的复杂度 2.带有关于梯度的更多 阅读全文
posted @ 2018-05-11 10:07 光彩照人 阅读(2266) 评论(0) 推荐(0)