摘要：一开始我们设定F(x)也就是每个样本的预测值是0(也可以做一定的随机化) Scores = { 0， 0， 0， 0， 0， 0， 0， 0} 那么我们先计算当前情况下的梯度值 GetGradientInOneQuery = [this](int query, const Fvec& scores) { //和实际代码稍有出入 简化版本 _grad... 阅读全文

摘要：考虑一个简单的例子来演示GBDT算法原理 下面是一个二分类问题，1表示可以考虑的相亲对象，0表示不考虑的相亲对象 特征维度有3个维度，分别对象 身高，金钱，颜值 cat dating.txt #id,label,hight,money,face _0,1,20,80,100 _1,1,60,90,25 _2,1,3,95,95 _3,1,66,95,60 _4,0,30,95... 阅读全文

摘要：这里以二元分类为例子，给出最基本原理的解释 GBDT 是多棵树的输出预测值的累加 GBDT的树都是 回归树 而不是分类树 分类树 分裂的时候选取使得误差下降最多的分裂 计算的技巧 最终分裂收益按照下面的方式计算，注意圆圈内的部分是固定值 GBDT 二分类 GBDT在实现中可以完全复用上面的计算... 阅读全文