A1A1AA  

1.介绍

这篇论文主要是基于原先的hard triplet提出了了hard global triplet loss和hard cross-modality loss,用它们组成了一个hard pentaplet loss(五态损失)。即下图所示,

原先的hard triplet 只能拉近anchor和positive,推远anchor和negative之间距离。而这里的postive和negative并没有明确指明是intra-modality还是cross-modality。
但是,现在的hard pentaplet loss,特意的标出了cross-modality的postive和nagative。所以不仅仅拉近anchor和positive,推远anchor和negative之间距离,还能拉近anchor和跨模态的positive,推远anchor和跨模态的negative之间距离。

然后把hard pentaplet loss和identity loss运用于rgb-rgb的同模态re-id模型提出了hard pentaplet and identity loss network (HPILN) ,得到了很好的效果。

作者也讲述了为什么模型可以取得这么好的效果?

1.使用的HPIloss有效,其中HP loss使得类间的距离不断加大,然后identity loss继续缩小类内距离
2.采用了较好的采样方法,平衡输入图像的数量,使模型不集中在某一模态图像上

下图是使用了不同的loss函数,样本的分布情况。可以看到,使用HPI>Hp>identity,此时的不同类距离更大,类间距离更小。

2.思想

框架分为两个部分:

1.特征学习(这里使用的是rgb-rgb的特征提取)
2.根据1中的特征构建pentaplet 对

2.1 global triplet loss

这个global triplet loss不仅仅能处理跨模态差异,还能处理同模态差异

2.2 hard cross-modality loss

为了更好的处理跨模态差异,再加一个cross-modality loss

2.3 hard pentaplet loss

把2.1和2.2的损失函数汇总就得到了 hard pentaplet loss

2.4 identity loss

tripletloss仅仅是在距离空间让样本可分离,还需要进行personid分类。进一步减小模内误差。

2.5 总loss

2.6 结果

posted on 2020-11-13 15:41  A1A1AA  阅读(180)  评论(0编辑  收藏  举报