Pic2Word

目录

• 概
• Pic2Word
• 代码

Saito K., Sohn K., Zhang X., Li C., Lee C., Saenko K., and Pfister T. Pic2Word: Mapping pictures to words for zero-shot composed image retrieval. CVPR, 2023.

概

本文关注的是 Composed Image Retrieval (CIR) 任务: 给定一个 reference (query) image 和一段文本描述, 检索同时满足二者需求的图片. 比如给定一张狗狗趴在草地上的图片, 和一段描述 "在泳池中", 那么理应检索出在泳池中的狗狗的图片.

Pic2Word

• 一般的带监督的 CIR 任务, 其模型训练时依赖三元组: (reference, text, target), 从而能够设计逼近 target 的学习任务.

• 但是这种三元组的获得是很难的 (费时费力). 现存的数据广泛存在的是 (image, text) 这种类型数据.

• 于是, 本文提出了 Pic2Word 在这种情况下也能够获得足够的性能. 如上图所示, 我们需要训练一个 mapping network \(f_M\), 其

  \[\bm{s} = f_M(\bm{v}) = f_M(\psi_{visual} (\bm{x})), \]

  将通过 CLIP 得到图片的表征 \(\bm{v}\) 映射到 token embedding 所在的空间.
  这里 \(\psi_{visual}\) 是 CLIP 中的 visual encoder.

• 然后在要求图片和描述 'A photo of \(\bm{s}\)' 对齐 (文本描述实际上会有多个模板).

• 具体流程如下:

  1. 提取图片 \(\bm{x}\) 的表征:
     \[\bm{v} = \psi_{visual}(\bm{x}); \]

  2. 通过 mapping network 得到 visual 的 token embedding:
     \[\bm{s} = f_M (\bm{v}); \]

  3. 通过 text encoder 提取:
     \[\bm{p} = \psi_{textual} ("\text{A photo of } \bm{s}"); \]

  4. 各自 normalized 后的表征用对比损失进行对齐.

• 训练完之后, 我们就可以把通过 \(f_M\) 提取得到的图片 token embedding \(\bm{s}\) 作为对象插入到任意的语句中, 此时 '\(\bm{s}\) in pool' 很大程度就近似于 'dog in pool', 于是凭借之后的 textual 表征可以进行直接的检索 (candidate 为图片的 visual 表征).

注: 在这之前以及之后也有类似的用 CLIP 的方法, 但是还是 Pic2Word 更加简练.

代码

[official-code]