Free-Form Image Inpainting with Gated Convolution

Free-Form Image Inpainting with Gated Convolution

pytorch

引言

和Generative Image Inpainting with Contextual Attention是同一个作者

部分卷积（PConv）的缺陷：

1 将含有1个有效值像素的区域与含有9个有效值像素的区域同等对待

2 在mask内部画一些素描作为指导，这些素描像素点究竟是valid，还是invalid无法定义。

3 Partial convolution中，无效pixel将在深层中逐渐消失，从而将所有mask值逐渐转换为1。

4 每层中的所有channels共享相同的mask，这限制了灵活性。本质上，Partial convolution可以看作是难以学习的单通道特征hard-gating。

 

 

 

在PCONV的改进

 

 

 

 

 

 

 

 

 以上解决了PCONV不可学习，每个通道相同的mask，mask值都会变为1的缺陷

 网络框架

 

 

 提出SN-PATCHGAN（光谱归一化）

加速训练有助于训练稳定

 

 

 

 

 

 损失函数

hinge adversial loss