目标检测01:常用评价指标(AP、AP50、AP@50:5:95、mAP)

目录

  Intersection Over Union(IOU)

  目标检测中的TP、FP、FN、TN

  AP指标

  mAP指标

  AP50、AP@50:5:95指标

  实际应用场景下的指标

  参考资料


 

Intersection Over Union(IOU)

 

绿色框是ground-truth,红色框是预测框体,IOU=相交的面积/相并的面积

 返回目录

 

目标检测中的TP、FP、FN、TN

TP:对ground-truth框正确的检测(分类正确、预测框体与GT框体的IOU大于预设的阈值)

FP:对不存在的东西做了错的预测 或者 预测的IOU小于预设阈值

FN:漏检测

关于TN,在目标检测里是不考虑TN的,因为他有无数个(一张图片可以画无数个框)

因此,所有涉及到TN的指标,如TPR, FPR ROC curves都不会在目标检测里使用。

常用的是精确率和召回率:

P追求的精确,R追求的是召回,所以要在PR之间要做一个平衡,可以使用AP指标

 返回目录

 

AP指标

先从简单的单类别目标检测来说

假设一共有7张图片,绿色框是GT15个),红色框是预测框(24个)并带有置信度

现在假设IOU=30%,按照置信度排序得到下表

其中TP表示预测正确、FP表示预测错误、acc TP表示从头到该位置累计正确个数、precision表示从头到该位置的精确率、recall表示从头到该位置的召回率。

下图表示的就是从头到尾,依次加入新的样本时,PR的变化情况:

AP的计算有两种方式:AP11APall

先说AP11

 

蓝色线就是前面那张PR图,红点的横坐标有11种取值:【0,0.1,...,0.9,1】,纵坐标的取值为右侧蓝色线最高的值。AP11就是11个红点的纵坐标的均值,即:

再说APall

蓝色线就是前面那张PR图,红色虚线的纵坐标是单调减小的,每次减小到右侧蓝线的最高点。APall就是红色虚线下方的面积,即:

关于AP的计算常常使用的是AP11.

 返回目录

 

mAP指标

如果是多类别目标检测任务,就要使用mean AP(mAP),其定义为:

即,对所有的类别进行AP的计算,然后取均值

 返回目录

 

AP50、AP@50:5:95指标

 

AP50指的是IOU的值取50%AP70同理

AP@50:5:95指的是IOU的值从50%取到95%,步长为5%,然后算在在这些IOU下的AP的均值

 返回目录

 

实际应用场景下的指标

 

该业务下,ACC的权重为0.2mAP的权重为0.8

AP的计算即为:AP@10:20:50

 返回目录

 

参考资料

Padilla R, Netto S L, da Silva E A B. A survey on performance metrics for object-detection algorithms[C]//2020 International Conference on Systems, Signals and Image Processing (IWSSIP). IEEE, 2020: 237-242.

 返回目录

 

posted @ 2020-12-26 18:21  黎明程序员  阅读(14323)  评论(0编辑  收藏  举报