Foreground-aware Image Inpainting

引言

语义分割得到边缘信息指导修复其三

存在问题：现在的图像修复方法主要的通过周围像素来修复，当修复区域与前景区域（显著物体）有交叠时，由于修复区域缺失前景与背景的时间内容导致修复结果不理想。

提出方法：a foreground-aware image inpainting system，可明确区分结构推断和内容修复。模型首先预测前景轮廓，然后根据预测发前景轮廓进行区域修复。

论文来源：CVPR 2019

相关论文：

《Image inpainting for irregular holes using partial convolutions.》部分卷积《Free-form image inpainting with gated convolution》门控卷积

《Spg-net: Segmentation prediction and guidance network for image inpainting.》通过语义分割获取前景蒙版，来修复图像

论文贡献：

1.提出区分结构推断和内容修复的模型，使用显式轮廓指导explicit contour guidance修复图像

2.为了推断图像结构（图像边界），提出了边界修复模型来参数精确的图像边界

3.为了高效率完成模型的训练，我们采用curriculum的训练方法来训练结构推断和内容修复的模型

数据集的制作：

基于前景感知的图像修复框架要求我们训练一个轮廓补全模块并自动推断轮廓，因此我们需要一个带有标记轮廓的训练数据集。

salient object segmentation datasets（显著物体目标检测）：显著目标检测来源于视觉显著性，即找到一张图像中人眼最关注的目标区域，是一个二分类的问题。背景全部变为黑色，而目标变为白色，但是一般只能检测一个显著性目标，不会涉及到分类的问题。

从各种公共数据集(显著性分割数据集：包括MSRA-10K[10]、人工注释的Flickr自然图像数据集等)中收集了超过15762幅包含一个或几个突出对象的自然图像。每个图像在这个突出数据集中被注释与一个精确的分割掩码。数据集的内容非常多样化，包含了各种各样的对象，包括动物、植物、人、面孔、建筑物、街道等等。每个图像中物体的相对大小有很大的差异。我们将所有样本分为12,609张训练图像和3,153张测试图像。

利用mask的数据集：Places2, Paris ，CelebFace