lightgbm 回归损失函数

 

sum_weights 可以通过参数设置。 如果不设置,那么值就是样本的个数。   指定每个样本的权重。   

我突然想到基金预测,可以设置样本的权重。  真实涨幅越高,权重越小。   反之,权重越高。    因为如果预测偏低,那么loss 损失越大。

 

 

"rmse":  

sum_loss = 和 (score - label)*(score - label) 
loss = std::sqrt(sum_loss / sum_weights);
 
 

"l2": 误差的平方:

sum_loss = 和 (score - label)*(score - label) 
loss = sum_loss / sum_weights
 

"l1": 误差的绝对值:

sum_loss = 和 fabs(score - label)
loss = sum_loss / sum_weights
 

"quantile": 分位数损失

  inline static double LossOnPoint(label_t label, double score, const Config& config) {
    double delta = label - score;
    if (delta < 0) {
      return (config.alpha - 1.0f) * delta;
    } else {
      return config.alpha * delta;
    }
  }
 
从c++ 代码可以看到, 如果alpha为0.5,   那么就是误差的绝对值* 0.5.    如果为0.2。 那么就是负误差越小,损失越大。  从图中可以看出,alpha值越大,正误差损失斜率越低。 为0.5时正负斜率相等
 
sum_loss = 和 LossOnPoint(label, score)
loss = sum_loss / sum_weights 

 

 

 

 

"huber":

  inline static double LossOnPoint(label_t label, double score, const Config& config) {
    const double diff = score - label;
    if (std::abs(diff) <= config.alpha) {
      return 0.5f * diff * diff;
    } else {
      return config.alpha * (std::abs(diff) - 0.5f * config.alpha);
    }
  }

预测的分数离标签值越近,越趋近0.    从图中可以看出,  就是平方损失函数的压缩版。 huber损失值相对平方损失压小了。  alpha越小, Huber损失值压的越狠。

 

 

 

"fair":公允价值变动损失

  inline static double LossOnPoint(label_t label, double score, const Config& config) {
    const double x = std::fabs(score - label);
    const double c = config.fair_c;
    return c * x - c * c * std::log(1.0f + x / c);
  }

 

 从图中可以看出, fair_c 越小, 损失越小。  fair_c 越大损失越大

 

"poisson": 柏松回归

  inline static double LossOnPoint(label_t label, double score, const Config&) {
    const double eps = 1e-10f;
    if (score < eps) {
      score = eps;
    }
    return score - label * std::log(score);
  }

  

 

 如果出现负误差, 那么损失值非常大。

 

mape:

  inline static double LossOnPoint(label_t label, double score, const Config&) {
    return std::fabs((label - score)) / std::max(1.0f, std::fabs(label));
  }

 

 

gamma: 分布

  inline static double LossOnPoint(label_t label, double score, const Config&) {
    const double psi = 1.0;
    const double theta = -1.0 / score;
    const double a = psi;
    const double b = -Common::SafeLog(-theta);
    const double c = 1. / psi * Common::SafeLog(label / psi) - Common::SafeLog(label) - 0;  // 0 = std::lgamma(1.0 / psi) = std::lgamma(1.0);
    return -((label * theta - b) / a + c);
  }

 限制条件: label 必须大于0

 

 

 从图中可以看到, 标签值越大, 预测值离标签值越近,损失值越小。   在预测值在标签值附近的时候,损失值差别不大

 

 "gamma_deviance":

  inline static double LossOnPoint(label_t label, double score, const Config&) {
    const double epsilon = 1.0e-9;
    const double tmp = label / (score + epsilon);
    return tmp - Common::SafeLog(tmp) - 1;
  }

  

从图中可以看出, 当标签为1的时候,损失值是线性的, 标签值大于0的时候。  标签为2的时候,是分段线性的。  负误差的斜率和正误差的斜率要陡。

 

"tweedie" 类分布

  inline static double LossOnPoint(label_t label, double score, const Config& config) {
    const double rho = config.tweedie_variance_power;
    const double eps = 1e-10f;
    if (score < eps) {
      score = eps;
    }
    const double a = label * std::exp((1 - rho) * std::log(score)) / (1 - rho);
    const double b = std::exp((2 - rho) * std::log(score)) / (2 - rho);
    return -a + b;
  }
tweedie_variance_power = 0.2  时, 函数图形如下:  

 

 

 

 
posted @ 2020-12-07 21:11  Please Call me 小强  阅读(2741)  评论(0编辑  收藏  举报