机器学习复习：模型评估指标

分类指标

• 精确率和召回率：多用于二分类问题

  • 混淆矩阵

    

    其中，TP(True Positive, 真正)：被模型预测为正例的正样本；

    FP(False Positive, 假正)：被模型预测为正例的负样本；

    FN(False Negative, 假负)：被模型预测为负例的正样本；

    TN(True Negative, 真负)：被模型预测为负例的负样本。且TP+FP+FN+TN=样本总数

  • 精确率和召回率

    • 精确率(P)

      \[精确率(P)=\frac{TP}{TP+FP} \]

      其中，精确率的分母为被模型预测为正例的样本总数。也就是说，精确率表示：预测为正例中正例的概率(抓来的小偷中有多少是真小偷)

    • 召回率(R)

      \[召回率(R)=\frac{TP}{TP+FN} \]

      其中，召回率的分母为实际为正例的样本总数。也就是说，召回率表示：正例被预测的概率(有多少小偷被抓到)

    • P-R曲线

      以召回率R为横轴，精确度P为纵轴，可以画出P-R曲线。P-R曲线越靠近右上角越好，曲线下面积称作AP分数(Average Precision Score，平均精确率分数)。

      

      \(F_1\)值是权衡精确率和召回率两者的指标，是精确率和召回率的调和平均值：

      \[\frac{2}{F_1}=\frac{1}{P}+\frac{1}{R} \]

      \(F\)值可泛化为对精确率和召回率进行加权调和：

      \[F_{\alpha}=\frac{(1+\alpha^2)PR}{\alpha^2P+R} \]

      此外，准确率和错误率也是常用的评估指标：

      \[准确率(accuracy)=\frac{TP+TN}{TP+TN+FP+FN}\\ 错误率(error\ rate)=\frac{FP+FN}{TP+TN+FP+FN} \]

      注意：精确率和准确率是不同的指标，精确率是二分类指标，而准确率可用于多分类：

      \[准确率(accuracy)=\frac{1}{n}\sum_{i=1}^nI(y_i=\hat{y_i}) \]

• ROC和AUC

  众多模型输出概率，而使用精确率、召回率这类指标进行模型评估时，需要对预测概率设分类阈值，如预测概率大于0.5为正例，反之为负例。这使得评估模型时多了一个超参数。

  ROC(Receiver Operating Characteristics, 接收者操作特征)曲线不需要设定这样的阈值，ROC曲线纵坐标是真正率，横坐标是假正率。

  \[真正率(TPR)=\frac{TP}{TP+FN}\\ 假正率(FPR)=\frac{FP}{FP+TN} \]

  其中，真正率的分母为样本中所有正例，表示预测的正例中真正例占所有正例的比例；假正率的分母为样本中所有负例，表示预测的正例中假正例占所有负例的比例。注意与精确率和查全率的对比。ROC曲线越靠近左上角越好。

  

  绘制方法示例

  假设有6次展示记录，有2次被点击了，得到一个展示序列：{1:1, 2:0, 3:1, 4:0, 5:0, 6:0}。其中，字典的键表示序号，值表示本次点击(1)或没有点击(0)。通过模型预测得到概率序列，计算得到概率序列是：{1:0.9, 2:0.7, 3:0.8, 4:0.6, 5:0.5, 6:0.4}。

  绘制步骤：

  • 将概率序列从高到低排序，得到序列

  • 从概率最大开始取一个点作为正例，取到点1，计算得到：

    \[FPR=\frac{0}{0+4}=0\\ TPR=\frac{1}{1+1}=0.5 \]

  • 再从概率最大开始取一个点作为正例，取到点3，计算得到：

    \[FPR=\frac{0}{0+4}=0\\ TPR=\frac{2}{2+0}=1 \]

  • 再从概率最大开始取一个点作为正例，取到点2，计算得到：

    \[FPR=\frac{1}{1+3}=0.25\\ TPR=\frac{2}{2+0}=1 \]

  • 以此类推，得到各个FPR和TPR

  • 组成6个数据点(0,0.5), (0,1), (0.25,1), (0.5,1), (0.75,1), (1,1)，将数据点绘制如图所示。

    

    上图左上角坐标为(0,1)，即FPR=0，TPR=1。根据FPR和TPR的计算公式可知，此时FN=0、FP=0，模型对所有样本分类正确。

    AUC(Area Under ROC Curve)即ROC曲线下面积。取值越大，说明将预测序列按概率值降序排列时，模型越可能将正样本排在负样本前面。

    AUC的一些统计特性：

    • AUC等于随机选择一个正样本和负样本时，分类器将正样本排在负样本前面的概率；

    • AUC和Wilcoxon Test of Ranks等价；

    • AUC和基尼(Gini)指数满足：

    \[Gini+1=2×AUC \]

    AUC从物理意义上讲，表示的是ROC曲线下面积；从概率意义上讲，AUC考虑的是样本的排序质量。AUC的计算主要与排序有关，所以它对排序敏感，对具体的概率值没那么敏感。

  代码实现

• 最直观的做法：正样本m个，负样本n个，正负样本排列有m*n中情况(概率论的乘法法则)，统计m×n中正样本概率>负样本概率的情况个数。

  AUC的物理意义不仅仅是ROC曲线下面积，而且是：对于给定的正样本M个，负样本N个，以及它们的预测概率，则AUC就是穷举所有的正负样本对，如果正样本的预测概率大于负样本的预测概率，就加1；如果正样本的预测概率等于负样本的预测概率，就加0.5；如果正样本的预测概率小于负样本的预测概率，就加0。将统计值除以\(M\times N\)就得到了AUC，公式描述如下：

  \[AUC=\frac{I(P_{pos},P_{neg})}{M\times N} \]

  import numpy as np
  from sklearn.metrics import roc_curve, auc
  
  
  def naive_auc(labels, preds):
  	pos_indexes = []
  	neg_indexes = []
  	for index, label in enumerate(labels):
  		if label == 1:
  			pos_indexes.append(index)
  		elif label == 0:
  			neg_indexes.append(index)
  
  	auc = 0.
  	for pos_index in pos_indexes:
  		for neg_index in neg_indexes:
  			if preds[pos_index] > preds[neg_index]:
  				auc += 1
  			elif preds[pos_index] == preds[neg_index]:
  				auc += 0.5
  
  	return auc / (len(pos_indexes) * len(neg_indexes))
  
  
  if __name__ == '__main__':
  	y = np.array([1, 0, 0, 0, 1, 0, 1, 0, ])
  	pred = np.array([0.9, 0.8, 0.3, 0.1, 0.4, 0.9, 0.66, 0.7])
  
  	fpr, tpr, threadholds = roc_curve(y, pred, pos_label=1)
  	print('naive auc: {}'.format(naive_auc(y, pred)))
  	print('sklearn auc: {}'.format(auc(fpr, tpr)))
  

• 优化一

  • 对预测概率从低到高排序
  • 对每一个概率值设rank值，最低的概率对应的rank值为1，最高的概率对应的rank值为n。rank值表示了该样本超过的样本个数，统计所有正样本的rank和，再减去其中超过正样本的个数：rank为n的正样本表示超过了n-1个样本，其中超过了m-1个正样本。我们只希望求得对于每一个正样本，其超过的负样本个数。在下述示例代码中，直接不统计超过的正样本数量。
  • 除以m*n

  对应的计算公式：

  \[AUC=\frac{\sum_{i\in pos}rank_i-\frac{m(m+1)}{2}}{m*n} \]

• 优化二

  另外还有将预测值分桶，对正负样本分别构建直方图，再满足条件的正负样本数，复杂度降为O(n)。参见：wepe/auc.py

  def approximate_auc(labels, preds, n_bins=100):
      '''
      近似方法，将预测值分桶，对正负样本分别构建直方图，再统计满足条件的正负样本对
      复杂度O(n)
      '''
      n_pos = sum(labels)
      n_neg = len(labels) - n_pos
      total_pair = n_pos * n_neg
  
      pos_histogram = [0 for _ in range(n_bins)]
      neg_histogram = [0 for _ in range(n_bins)]
      bin_width = 1. / n_bins
      for i in range(len(labels)):
          nth_bin = int(preds[i] / bin_width)
          if labels[i] == 1:
              pos_histogram[nth_bin] += 1
          else:
              neg_histogram[nth_bin] += 1
  
      accumulated_neg = 0
      satisfied_pair = 0
      for i in range(n_bins):
          satisfied_pair += (pos_histogram[i] * accumulated_neg + pos_histogram[i] * neg_histogram[i] * 0.5)
          accumulated_neg += neg_histogram[i]
  
      return satisfied_pair / float(total_pair)
  

  参见：

  python实现AUC

  AUC理解与实现

  wepe/auc.py

• 对数损失

  对数损失(Logistic Loss, logloss)是对预测概率的似然估计，其标准形式为：

  \[logloss=-logP(Y|X) \]

  对数损失最下化本质上是利用样本中的已知分布，求解导致这种分布的最佳模型参数，使这种分布出现的概率最大。

  对数损失对应的二分类的计算公式为：

  \[logloss=-\frac{1}{N}\sum_{i=1}^{N}(ylogp_i+(1-y)log(1-p_i)) \]

  其中，\(y\in \{0,1\}\)，\(p_i\)为第\(i\)个样本预测为1的概率。这实际就是逻辑回归的目标函数，由最大似然推导而来。

  对数损失对应的多分类计算公式：

  \[logloss=-\frac{1}{N}\frac{1}{C}\sum_{i=1}^{N}\sum_{j=1}^Cy_{ij}logp_{ij} \]

  其中，N为样本数，C为类别数，\(y_{ij}=1\)表示第\(i\)个样本的类别为\(j\)，\(p_{ij}\)为第\(i\)个样本类别为\(j\)的概率。

  logloss衡量的是预测概率分布和真实概率分布的差异性，值越小越好。与AUC不同，logloss对预测概率值敏感。

回归指标

• 平均绝对误差(Mean Absolute Error, MAE)
  也称\(L_1\)范数损失(\(L_1-Norm\ loss\))：

  \[MAE=\frac{1}{N}\sum_{i=1}^{N}|y_i-p_i| \]

  其中，\(N\)为样本数，\(y_i\)为第\(i\)条样本的真实值，\(p_i\)是第\(i\)条样本的预测值。因为预测误差有正有负，绝对值可以避免正负抵消。
  模型使用MAE作为损失函数是对数据分布的中值进行拟合。
  某些模型如XGBoost要求损失函数有二阶导数，所以不可以用来直接优化MAE。
  加权平均绝对误差(Weighted Mean Absolute Error, WMAE)是基于MAE的变种，对每条样本考虑不同的权重，如考虑时间因素，离当前时间越久，样本权重越低。

  \[WMAE=\frac{1}{N}\sum_{i=1}^Nw_i|y_i-p_i| \]

  其中，\(w_i\)是第\(i\)条样本的权重。

• 平均绝对百分误差(Mean Absolute Percentage Error, MAPE)

  \[MAPE=\frac{100}{N}\sum_{i=1}^{N}|\frac{y_i-p_i}{y_i}|,\quad y_i\neq 0 \]

  MAPE计算绝对误差的百分比以表示预测效果，其取值越小越好。若MAPE=10，表明预测平均偏离真实值10%，MAPE与量纲无关。

  MAPE的缺点也很明显：在\(y_i=0\)处无定义，并且如果\(y_i\)接近0可能导致MAPE大于100%。

• 均方根误差(Root Mean Squared Error, RMSE)

  \[RMSE=\sqrt{\frac{1}{N}\sum_{i=1}^{N}(y_i-p_i)^2} \]

  RMSE表示预测值和真实值差异的样本标准差。和MAE相比，RMSE对大误差样本有更大的惩罚，但它对离群点敏感，健壮性不如MAE。

  模型使用RMSE作为损失函数是对数据分布的平均值进行拟合。

  基于均方根误差有一个常用的变种评估指标：均方根对数误差(Root Mean Squared Logarithmic Error, RMSLE)：

  \[RMSLE=\sqrt{\frac{1}{N}\sum_{i=1}^N(log(y_i+1)-log(p_i+1))} \]

  RMSLE对预测值偏小的样本惩罚比对预测值偏大的样本惩罚更大。比如酒店均价是200元，预测成150元要比预测成250元的惩罚更大。如果希望使用RMSLE作为评估指标，对于没办法直接优化RMSLE但能直接优化RMSE的模型，通常会对预测目标进行对数变换\(p_{new}=log(p+1)\)，最后预测值再还原\(p=e^{p_{new}}-1\)。

排序指标

• 平均准确率均值(Mean Average Precision, MAP)

  计算公式分两个部分，先计算一次排序平均准确率，再计算总体的平均准确率。常用的MAP指标会限定评估排在前面的文档质量。

  \[AP@K=\frac{\sum_{k=1}^{min(M,K)}P(k)×rel(k)}{min(M,K)}\\ P(i)=\frac{前i个结果中相关文档数量}{i} \]

  其中，\(AP@K\)表示计算前\(K\)个结果的平均准确率；\(M\)表示每次参与排序的文档总数，有可能一次返回文档数不足\(K\)个；\(P(k)\)表示前\(k\)个结果的准确率；\(rel(k)\)表示第\(k\)个结果是否是相关文档，相关文档返回1，否则返回0。

  \[MAP@K=\sum_{q=1}^Q\frac{AP_q@K}{Q} \]

  其中，\(Q\)为查询的数量；\(AP_q@K\)为第\(q\)次查询的\(AP@K\)的结果。

  示例：以黄色表示案例相关，白色表示案例不相关

  

  对于案例1，有\(P(1)=\frac{1}{1}=1,P(3)=\frac{2}{3},p(5)=\frac{3}{5}\)，K=5，M=3，则：

  \[\begin{split} AP@5&=\frac{\sum_{k=1}^{min(3,5)}P(k)×rel(k)}{min(3,5)}\\ &=\frac{1}{3}(1+\frac{2}{3}+\frac{3}{5})\\ &\approx 0.76 \end{split} \]

  对于案例2，有\(P(2)=\frac{1}{2},P(4)=\frac{2}{4}\)，则：

  \[\begin{split} AP@5&=\frac{\sum_{k=1}^{min(2,5)}P(k)×rel(k)}{min(2,5)}\\ &=\frac{1}{2}(\frac{1}{2}+\frac{2}{4})\\ &=0.5 \end{split} \]

  且\(Q=2\)，

  \[\begin{split} MAP@Q&=\sum_{q=1}^2\frac{AP_q@5}{2}\\ &=\frac{1}{2}(0.76+0.5)\\ &=0.63 \end{split} \]

  另外，比较重要的排序指标还有NDCG(Normalized Discounted Cumulative Gain, 归一化贴现累计收益)