《Eye In-Painting with Exemplar Generative Adversarial Networks》论文阅读笔记

Abstract

基于conditional GAN使用隐藏在reference image中的exemplar information生成high-quality,personalized in-painting results：ExGANs，实验样例为睁眼闭眼。同时提出一个新的benchmard dataset

总体思路

• reference-based in-painting

利用一组成对训练集$X_i$和$r_i$来进行GAN的对抗训练，其中$r_i$是作为X的inference image，如同一角色的不同姿态，表情的图片（r也可以是一组图片）。$Z_i$作为需要inpainting的残缺图片，目标函数定义为：

从形式上来说，和CGAN较为一致，最后加上了一项生成的补全图片和原图片的pixel loss项。

 

• code-based in-painting

生成一个perceptual code，该code中蕴含了相应的待补全的信息，在本例中为目标的眼睛信息。C是压缩映射函数，大幅降低参考图片$r_i$的信息数量至$C_i$(The compressing function can be a deterministic func-tion, an auto-encoder, or a general deep network that projects an example onto some manifold)

网络pipeline图示：

作者自己从网上爬了2 million 2D-aligned images of around 200K individuals组成训练集，同一人物至少对应3张不同的图片