模型评估与选择

混淆矩阵

对于二分类问题，可将样例根据其真实类别与学习器预测类别的组合划分为真正例(\(true\) \(positive\)) 、假正例 (\(false\) \(positive\)) 、真反例(\(true\) \(negative\)) 假反例 (\(false\) \(negative\)) 四种情形，用\(TP、FP、TN、FN\)分别表示其对应的样例数。

查全率、查准率和\(F1\)

查全率

红框中\(TP\)的比例

\[R = \frac{TP}{TP+FN} \]

查准率

蓝框中\(TP\)的比例

\[P = \frac{TP}{TP + FP} \]

查准率和查全率是一对矛盾的度量。一般来说，查准率高时，查全率往往偏低；而查全率高时，查准率往往偏低。

例如，若希望将好瓜尽可能多地选出来， 则可通过增加选瓜的数量来实现，如果将所有西瓜都选上，那么所有的好瓜也必然都被选上了，但这样查准率就会较低；若希望选的瓜中好瓜比例尽可能高，则可只挑选最有把握的瓜 但这样就难免会漏掉不少好瓜，使得查全率较低。

\(F1\)​

\(F1\)值综合考虑查准率和查全率的性能

\[F1 = \frac{2 \times P \times R}{P + R} \]

\(PR\)曲线

根据学习器的预测结果对样例进行排序，排在前面的是学习器认为"最可能 "是正例的样本，排在最后的则是学习器认为"最不可能"是正例的样本。按此顺序逐个把样本作为正例进行预测，则每次可以计算出当前的查全率、 查准率。以信息检索应用为例，逐条向用户反馈其可能感兴趣的信息，即可计算出查全率、查准率。

以查准率为纵轴、查全率为横轴作图 ，就得到了查准率查全率曲线，亦称\(PR\)曲线或\(PR\)图。

PR 曲线直观地显示出学习器在样本总体上的查全率、 查准率。在进行比较时，若一个学习器的 PR 曲线被另一个学习器的曲线完全"包住，则可断言后者的性能优于前者。如图，学习器\(A\)的性能优学习器\(C\)。

如果两个学习器\(PR\)曲线发生了交叉，例如图中的\(A\)与\(B\) ，则难以一般性地断言两者孰优孰劣，只能在具体的查准率或查全率条件下进行比较。然而，在很多情形下，人们往往仍希望把学习器比出个高低，这时一个比较合理的判据是比较\(PR\)曲积的大小，它在一定程度上表征了学习器在查准率和查全率上取得相对"双高"的比例，但这个值不太容易估算， 因此人们设计了一些综合考虑查准和查全率的性能度量。

"平衡点“($Break-Event Point \(，简称\)BEP\()就是这样一个度量，它是" 查准率=查全率"时的取值。基于\)BEP\(的比较，可认为学习器\)A\(优于\)B$。

\(ROC\)和\(AUC\)

很多学习器是为测试样本产生一个实值或概率预测，然后将这个预测值与一个分类阔值(\(threshold\)) 进行比较，若大于阈值则分为正类，否则为反类。

如图所示，阈值选为0.5，则TP=3、FP=1、FN=1、TN=3。当阈值发生变化时，在每一个阈值下都会对应一个混淆矩阵。

\(TPR\)

真阳性率

\[TPR = \frac{TP}{TP + FN} \]

\(FPR\)

假阳性率

\[FPR = \frac{FP}{FP + TN} \]

\(ROC\)(\(Receiver\) \(Operating\) \(Characteristic\))：我们根据学习器的预测结果对样例进行排序，按此顺序逐个把样本作为正例进行预测，每次计算出\(TPR\)和\(FPR\)的值，以\(TPR\)为纵轴，以\(FPR\)为横轴作图就得到了\(ROC\)曲线。

\(AUC\)(\(Area\) \(Under\) \(ROC\) \(Curve\)) ：一个学习器的\(ROC\)曲线被另学习器的曲线完全"包住"，则可断言后者的性能优于前者；若两个学习器\(ROC\)曲线发生交叉，则难以一般性地断言两者孰优孰，此时如果一定要进行比较则较为合理的判据是比较\(ROC\)线下的面积\(AUC\)。