qyjun

博客园 首页 新随笔 联系 订阅 管理

本文是物体检测综述性文章,作者试图通过比较不同的物体检测方法找到哪种方法更好

1.Introduction

到目前为止,物体检测方面最成功的方法是“滑动窗口(sliding window)”模式,这种方式是对每个候选图片窗口中的待测物体使用计算高效的分类器。滑窗的类别规模与测试窗口的数量线性相关,单一尺度的检测,每张图片需要大约104-105个类别,数量随着多尺度增加。现代的物体检测数据库也需要对物体纵横比的预测,进一步将每张图片的搜索窗口数增加到106-107

核心分类器的复杂性的增加提高了检测质量,但消耗了更多的计算。一种解决高计算量和高检测质量直接矛盾的方法是使用“detection proposals”,假设所有被检测物体的兴趣点都共享能从背景区别出来的可视化属性。给一张图片,通过设计或训练一种方法,能够输出一系列有可能包含待检物体的兴趣点区域,这种方法使比使用滑动窗口消耗更少的窗口,更高计算速度,更加复杂的分类器获得更高的召回率。

当前高性能的物体检测都使用兴趣点检测的方法。配合使用更复杂的分类器及初始化兴趣点数据分布进一步提高了检测质量。

本文在统一的框架下讨论多个物体检测方法,目的是更好的了解方法的优点和局限性。

论文的主要贡献如下

在2节给出检测兴趣点方法的概览,并且定义基线。讨论方法的分类、共性和异性。

在3节介绍了兴趣点重复性的概念,讨论当考虑兴趣点检测的相关性和估算现存方法的重复性,讨论结果有些意外。

在4节在多个数据集上做测试,研究物体检测的召回率

在5节评估了不同方法(DPM、R-CNN、FAST R-CNN)的物体检测性能,基于这些结果提出了新的评价方法,平均召回率(AR)。结果显示AR和检测器性能高度相关,并提倡把AR作为评估物体检测的标准评价方法。本文的实验第一次为物体检测中的选择和微调兴趣点方法提供了清晰的指导。

本文中使用的方法和代码都公开可用,具体地址是点击这里进入 http://goo.gl/uMhkAs

 2. Detection Proposal Methods

兴趣点检测是关注一张图片中最突出和独特的位置,极大减少分类、检索等各个人物的计算量。

值得注意的是当兴趣点检测成为主流,密集计算特征描述符被弃用的时候。由于算法效率和计算机计算能力的提高,现在标准的做法是使用密集特征值抽取。貌似呈现了想法的趋势。我们的目标是理解检测兴趣点是提高检测精度或是计算方面的原因。

两种类别的方式生成物体检测兴趣点:群组方法(grouping)和得分窗方法(window scoring),这些方法在2.1-2.6依次列出。

下表给出了12种方法的概览

2.1Grouping proposal methods

 群组的方法主要思想是生成多个可能与待检物体有关的划分。最简单的方法是直接使用分层的图像分割算法的输出结果,为了提高候选分割的数量,更多的方法试图使用多种低层次分割方法使分层多样化,或者开始过度分割图片然后随机合并。合并的过程基于形状、边界等特征。

本文把群组方法分为3类:超像素(Grouping Superpiexls SP)、多图像分割(graph cut GC)、边缘轮廓(edge contours EC)

SelectiveSearch:SP方法,贪婪的合并超像素形成感兴趣区域。该方法没有学习参数而是手工设计特征值和合并超像素的相似功能。SS被广泛用在优先的物体检测器上,包括R-CNN和FAST R-CNN

Rantalankila:SP方法。和SS相似,提出了一个超像素合并策略,使用不同的特征值,产生的分割在后面的阶段,被当作种子使用来产生更多的兴趣区域。

Chang:SP方法。结合突出特征和图模型物体对象将超像素合并成物体/背景分割。

CPMC:GC方法。避免初始化分割,用不同的种子计算图分割,结果使用特征池对分割结果排序

 Endres:GC方法。从闭塞的边界建立层次化的分割并且用不同的种子和参数生成分割。基于宽泛的线索和多样性的方法将 兴趣区域排序

Rigor:GC方法。是对CPMC的改进提高了计算速度。

Geodesic:EC方法。开始将图片过度分割。

MCG:EC方法。提出了一个计算多尺度层次化分割的快速算法。

6.Discussion

本文已经回顾了物体检测的主要方法,提出了新的评估方法并比较了这些方法。主要目的是使读者了解各种方法的特点以便在给定的场景下选择使用最优的方法。还有,本文开源的基准能为将来物体检测研究提供更完整和丰富的评估标准。

Repeatability:论文发现实际中所有方法的重复率(Repeatability)都是受限的:图片的微小变化都会引起兴趣区域显著的变化。甚至改变一个像素在重复率上的策略也有不同。应用鲁棒性更高的超像素(或边界估计)方法会有所提高。虽然我们希望有更好提高重复率的方法,但重复率在物体检测方面并非最重要的属性。这些独立于图像的方法SW、CB都有很好的重复率,但它们对物体检测还不够。SS、EB这些方法看起来在重复率和召回率有一个平衡。我们怀疑是不是具有更多重复率的高质量的兴趣区域检测方法能产生更高的检测精度。

Localisation Accuracy:我们的分析显示提高兴趣区域的位置精度是和提高召回率是一样的重要。实际上已经证明流行的IoU of 0.5召回率方法检测正确率不高。实验证明具有高召回率低重叠率的兴趣区域对物体检测并不有效。

概念IoU:目标窗口和原来标记窗口的交叠率。

 

平均召回率:同时测量召回率和定位准确度本文称作AR,通过一系列重叠阈值总结召回率的分布。通过一定数量的感兴趣区域证明AR和检测性能具有强关联性。证明了AR是一个优秀的检测性能预测器,建议将来用AR作为物体检测的评价标准。

Top Methods:在这些评价方法中SS、Rigor、MCG和EB取得了最好的检测性能。如果需要快速检测EB在速度和质量之间有一个很好的平衡。令人惊奇的是这些顶级方法虽然有不同的检测机制但具有相似的检测性能。

Generalisation:这些方法在不同的数据库测试结果是召回率没有明显的下降,从20个分类的PASCAL数据集到200个分类的ImageNet数据集,还有MSCOCO数据集有不同的统计类别和更小的物体。这些测试结果表明当前的方法能适应不同类别,泛化能力很强。

Oracle Experiments:通过一系列的实验及改进表明通过减少FP样本或训练一个根据判别力的分类器能提高检测质量。

Discussion:兴趣点区域检测提高了物体检测质量吗?或者在有足够的计算能力之前是否只有这一种过渡技术?另一方面,简单的提高兴趣点区域的数量或者随机产生兴趣点区域可能损害检测性能。另一方面在物体兴趣点区域检测器和两级级联检测器没有本质的区别。从概念上讲滑动窗口方法和级联检测方法工作的一样好,假如给足够的计算能力和足够的训练过程可能CNN比R-CNN性能更好。

本文关注的是物体检测,物体兴趣区域检测有其他用途,例如在测试时能处理未知类别,或者弱监督学习。

最后,我们发现当前一些方法取得了很高的召回率,但没有使用诸如LM-LLDA、R-CNN和FAST R-CNN等方法,也没有使用CNN特征。我们希望在这个领域有一些交叉处理的方法。实际在最近的一些研究中也出现了这种趋势。

将来物体检测方法一定会在重复率、召回率、定位精度和检测速度方面有所提高。从上而下的推理有可能扮演重要角色,纯粹的自下而上的方法很难产生完美的兴趣点区域。我们也看到在兴趣点区域与检测器之间的更紧密的集成并且很多兴趣点区域产生的遮罩分割方法可能将来会扮演重要的角色。

 

posted on 2017-06-28 19:27  qyjun  阅读(290)  评论(0)    收藏  举报