AUC计算

如何计算ROC？

如何计算AUC？

方法1：

方法二：AUC在数学上等价于：模型把用户关系的那一类样本排在另一类样本前面的概率

对n个样本按概率降序排序，并给一个rank值，\(r_1=n\)

对第一个正样本，排在负样本前面的次数为\(r_1-M\)次

对第二个正样本，排在负样本前面的次数为\(r_2-(M-1)\)次

...

对第M个正样本，排在负样本前面的次数为\(r_M-1\)次

则加起来为\(r_1-M+r_2-(M-1)+...+r_M-1=\sum\limits_{i\in positive}r_i-(M+M-1+...+1)\)

在除以\(M\times N\)就是概率

AUC的优点？

AUC的计算方法同时考虑了分类器对于正例和负例的分类能力，在样本不平衡的情况下，依然能够对分类器作出合理的评价。

例如在反欺诈场景，设欺诈类样本为正例，正例占比很少（假设0.1%），如果使用准确率评估，把所有的样本预测为负例，便可以获得99.9%的准确率。

但是如果使用AUC，把所有样本预测为负例，TPRate和FPRate同时为0（没有Positive），与(0,0) (1,1)连接，得出AUC仅为0.5，成功规避了样本不均匀带来的问题。