Partial Person Re-identification with Alignment and Hallucination（五）

摘要：

部分人员重新识别涉及匹配行人框架，其中只有身体的一部分在相应的图像中可见。

这反映了CCTV监控的实际情况，在这种情况下，通常无法获得全员视图。由于严重的错位和不同的视图比例，缺少身体部件使得比较非常困难。我们提出了部分匹配网络（PMN），它可以检测身体关节，对齐部分视图，并根据框架中的信息和一个人的学习模型对缺失的部分产生Hallucination。然后将对齐和重建的视图合并为一个关节表示，并用于匹配图像。我们对我们的方法进行了评估，并在三个不同的数据集上与其他方法进行了比较，显示出显著的改进。

 

本文的主要贡献：

：a）介绍了一种结合人体关节检测、校准和Hallucination的局部重新识别方法；b） 演示局部视图时图像对齐的影响；c） 生成数据集CropCUHK03，该数据集比现有数据集更好地反映了部分重新识别场景；e） 通过对三个不同数据集上的几种方法进行广泛评估和比较，验证了该方法的有效性；f） 表明所提出的方法显著改善了部分人员的重新身份识别。

方法：

文章介绍了部分匹配网络（PMN）及其三个组成部分，即对齐块（AB）、Hallucination块（HB）和特征提取块（FEB），如图2所示。

 

Alignment Block

在经过仔细裁剪并且人的身体部位对齐良好的图像中，行人的重新识别更加可靠，与之相比，自动检测的边界框在不同对象或相同ID的实例之间具有显著的平移和比例变化。因此，文章通过使用关节检测网络（JDN），然后使用关节位置在参考帧中对齐输入图像，从而自动执行对齐。具体来说，JDN估计了14个身体关节的位置[xk，yk，mk]，对应于{头部、颈部、右肩、右肘、右写、左肩、左膝、左腕、左髋、左膝，左踝、右髋、右膝、右踝}，其中xk和yk是关节坐标，mk∈ [0，1]是k部分的置信值。根据训练数据，我们估计了身体关节的平均位置，我们在参考框架中使用，所有示例都可以与之对齐。基于不同关节的每个坐标[xk，yk，mk]的置信值，选择了稳定参考坐标的子集，然后用于估计输入框和参考框之间的空间变换。具体来说，我们假设训练集中每个身体关节的置信值遵循正态分布，如果包含在平均值的n=3个标准偏差内，我们认为关节是可靠的。

关于对准的空间变换，由于失准主要来源于探测器的不精确性，且沿y方向更为显著，我们假设这是一种相似变换。具体而言，参数估计如下：给定当前样本Xi的关节和关节Xm的平均坐标，通过选择最小二乘解Φi=arg min||ΦXi− Xm||2，即最小化当前坐标和平均坐标之间的残差平方和来估计与相似变换相关的参数。即最小化当前坐标和平均坐标之间的残差平方和。

对齐框架中的缺失区域用零填充。由于对齐输入帧的变换是根据检测到的关节估计的，因此精度主要取决于JDN。图3显示了对中的一些定性结果，左侧图像中成功检测到接头，右侧图像中出现故障。

 

我们观察到，输入图像中的主要错位是在垂直方向上，因此变换通常是垂直平移和比例变化。此外，在垂直和水平方向上，比例变化被限制为相同，以保持人的纵横比。

Hallucination block

对齐示例更适合提取和比较相应身体部位之间的特征。然而，部分视图可能覆盖不同的身体部位，因此相似性分数可能会有所不同，这不仅是由于视点更改、照明和遮挡，还因为在不同的示例中，不同数量的过滤器被零填充禁用。可以通过尝试根据存在的区域和部件将分数标准化来解决这个问题。然而，这给重新识别过程带来了更大的复杂性，需要特定的解决方案。因此文章引入了Hallucination 块HB，重建图像中缺失的部分。我们的方法的优点是，可以使用任何最先进的人员重新识别方法。此外，考虑到行人的全景，生成大量局部视图以训练Hallucination 网络是很简单的。

 

 GAN在图像修复以及生成新图像方面取得了令人印象深刻的结果。该网络旨在学习从域Φ到H的映射函数，以便输出图像与属于H的图像无法区分。由于Φ和H之间存在无限映射函数，优化过程模式崩溃，其中映射倾向于将所有输入转换为同一图像，永远不会收敛。为了解决这个问题，“循环一致性”要求转换后的输入图像可以用于重建原始版本。文章通过引入逆映射来实现的，即引入另一个GAN，然后联合训练两个模型的循环一致性损失。

通过定义两个映射函数“行人完整网络”（PCN）和“部分生成网络”（PGN）来实现，这两个函数将对齐的部分观测φ转换为全身框架h，反之亦然，如图5所示

 

 

具体来说，目标是了解在给定部分对齐样本φ的情况下，对图像缺失部分进行重建，PCN∈ Φ和全身样本h∈ H、 该模型的优化目标如下：

 

 

其中，LGAN是对抗性损失，Lcyc是周期一致性损失。

生成器P GN和P CN的目标分别是生成属于域Φ和H的图像，而鉴别器Dφ和Dh则试图在各自的域中区分真假样本。最后，周期一致性损失定义为

 

这个模块不适应在缺失图像过多时。

 

Feature extractor block

在重建了对齐帧的缺失部分后，hallucinated 帧和对齐帧都被作为特征提取块（FEB）的输入。我们的FEB包括两个独立的特征提取网络，分别使用对齐样本和hallucinated 样本进行训练，同时在两者中使用相同的架构。

用两个网络进行实验，ResNet50基线和最近为重新身份验证人员设计的PCB。给定一个输入图像i，PCB计算激活的3D张量，然后通过沿相同水平步幅应用平均池将其拆分为多个列向量。每个特征组件的尺寸都会减小，并连接生成的条纹。

建议使用一个完全连接的层来组合来自hallucinated 帧和对齐帧中相同步幅的特征表示。F（h，φ）=[f1（h，Φ），…，fs（h、φ）]，如图2所示。然后通过最小化与相同水平步幅相关的每个串联特征分量的交叉熵损失之和来优化模型。在评估过程中，采用F（h，φ）作为最终特征向量，欧氏距离作为比较度量。

 

 Experimental Results