partial conv

Image Inpainting for Irregular Holes Using Partial Convolutions

pytorch代码

论文贡献：

1. 提出了部分卷积（partial convolutions），使得在每一层都使用上一层跟新后的mask，在图片修复上取得了state-of-the-art 的结果。
2. 提出了U-net类型的网络结构，区别在于将传统u-net中的卷积层替换为部分卷积层，解码模块的RELU替换为LeakyRELU。
3. 首次提出对于非规则孔洞的图片修复
4. 提出了一个大的非规则的带mask的图片修复数据集。

引言

PCONV将卷积分为了输入图片的卷积和输入掩码mask的卷积，只在图片的有效区域进行。

之前的论文都是只在第一层使用mask,mask也不会得到更新，本文的partial convolutions，每次都使用更新后的mask。 能够有效的处理不规则的mask。

网络架构

 

MASK（二值掩码）每层的更新过程

 

 

 

 

 

 Feature和Mask更新流程图

 

 

 

PCONV Layer的代码实现

 

 

框架实现

 

 

 

损失函数

 

 

 

 

 

实现结果