翻译摘取
- 摘要：可见红外人员再识别 (vi-reid) 是夜间监视应用中的一项重要任务，因为可见摄像机很难在恶劣的照明条件下捕获有效的外观信息。与仅处理模态内差异的传统人员重新识别相比，VI-ReID遭受了由不同类型的成像系统引起的其他跨模态差异。为了减少内部和交叉的差异，我们提出了一种分层的交叉纠缠 (Hi-CMD) 方法，该方法可以自动将可见热图像中的ID判别因素和idexclusive因素排除在外。我们仅使用ID判别因子进行稳健的交叉模态匹配，而没有ID排除因子 (例如姿势或照明)。为了实现我们的方法，我们介绍了一个idproservation人员图像生成网络和分层特征学习模块。我们的世代网络通过生成具有不同姿势和照明的新交叉模态图像，同时保留一个人的身份来学习解纠缠的表示。同时，特征学习模块使我们的模型能够显式地提取可见红外图像之间的常见ID判别特征。广泛的实验结果表明，我们的方法在两个VI-ReID数据集上优于最新方法。源代码在: https://github.com/bismex/HiCMD.
- 引言和相关工作
-
我们提出了一种分层交叉模态解纠缠 (Hi-CMD) 方法。这是一种有效的学习结构，可提取姿势和照明不变特征以进行交叉模态匹配。据我们所知，这是第一个将id区分性因素和ID排除因素同时从vi-reid中的交叉模态图像中分离出来的工作。
-
建议的ID保留人图像生成 (ID-PIG) 网络可以在保持特定人的身份特征的同时改变姿势和照明属性。通过ID-PIG探索人的属性证明了我们的解纠缠方法的有效性。
-
广泛的实验结果表明，我们的新颖框架在两个VI-ReID数据集上优于最先进的方法。ID-PIG网络的可视化结果证明了我们提出的方法的压倒性性能。
简而言之，ReID中的一般图像生成方法仅处理结构信息或仅在图像级别转换图像样式。与单模态人的重新识别不同，在VI-ReID中同时考虑模态内和跨模态特征更为重要。为此，即使在没有姿势监督的情况下，我们也尝试通过应用新颖的分层解纠缠方法来同时缓解跨模态和模态内差异。
- 类似
我们将Hi-CMD与最相关的解纠缠方法DG-Net [43] 进行了比较。Dg-net与我们提出的Hi-CMD相似，因为两种方法都以端到端的方式将图像生成网络与歧视性学习模块结合在一起。但是，用于人ReID的解纠缠元素和特征向量是完全不同的。虽然dg-net将每个RGB图像分解为外观和结构代码，但我们的Hi-CMD从RGBIR图像中分层区分了ID判别因素和ID排除因素，包括姿势和照明属性。此外，DG-Net仅使用颜色信息对区分人至关重要的外观代码。但是，由于此因素在VI-ReID任务中不可行，因此我们通过分层解纠缠来管理rgb-ir图像之间的ID判别信息。这种分层方法对于提取通用的ID判别特征更有用
- 结论
在这项工作中，我们为VI-ReID提出了一种新颖的分层交叉模态解纠缠方法。与以前的研究相反，所提出的模型通过从可见光红外图像中解开ID判别因子和ID排除因子，同时减少了跨模态和模态内差异。此外，我们新颖的身份保留人员图像生成网络提供了资源来分析跨模态匹配结果，并缓解了数据不足的问题。对VIReID数据集的定量和定性评估证明了我们提出的方法优于最新方法的优越性。
梳理
浙公网安备 33010602011771号