Evaluation

precision是tp/(tp+fp),检索结果中正确的比例

recall是tp/(tp+fn),所有需要被检索出来的比例

 

1、真实情况：恶性，检查结果：恶性，这种情况就叫做：true positve，姑且称为真阳性吧。（够倒霉的）

2、真实情况：良性，检查结果：恶性，这种情况就叫做：false positve，假阳性。（没病也有病，没地儿说理了）

3、真实情况：恶性，检查结果：良性，这种情况就叫做：false negative，假阴性。（庸医耽误病情呀）

4、真实情况：良性，检查结果：良性，这种情况就叫做：true negtive，真阴性。（这哥们人品攒得不错）

误检率： fp rate = sum(fp) / (sum(fp) + sum(tn))

查准率： precision rate = sum(tp) /  (sum(tp) + sum(fp)) 

查全率： recall rate = sum(tp) / (sum(tp) + sum(fn))

常用的还有一个漏检率：miss rate = sum(fn) / (sum(tp) + sum(fn))

recall rate + miss rate  = 1

 

ROC曲线：

横坐标：false positive rate, FPR = FP /（FP + TN）(没病的人中 被检测出来有病的 比例)

纵坐标：true positive rate , TPR =  TP /（TP + FN）(有病的人中 被检测出来有病的 比例)

 

AUC:就是ROC曲线下部分的面积

计算方法为：

　　首先对score从大到小排序，然后令最大score对应的sample 的rank为n，第二大score对应sample的rank为n-1，以此类推。然后把所有的正类样本的rank相加，再减去正类样本的score为最 小的那M个值的情况。得到的就是所有的样本中有多少对正类样本的score大于负类样本的score。然后再除以M×N。即

                                    AUC=((所有的正例位置相加)-M*(M+1))/(M*N)