Coherent Semantic Attention for Image Inpainting

Coherent Semantic Attention for Image Inpainting

pytorch

引言

PatchMatch其一

PatchMatch其二

PatchMatch其三

PatchMatch其四

存在问题:现存基于学习的图像修复算法生成的内容带有模糊的纹理和扭曲的结构,这是因为局部像素的不连续性导致的,因为这些方法忽略了语义相关性和缺失区域的特征连续性。

解决问题:提出一种带有coherent semantic attention (CSA) layer的基于深度生成模型的方法。

网络架构

首先在粗修复阶段,输入I_in到粗修复网络得到I_p。 然后带有CSA层的细修复网络将I_p、I_in作为输入,得到最后的结果I_r。 最后patch和feature patch判别器共同工作得到高分辨率的Ir。

 

CSA层

 

 

 

 

 

 损失函数

 

 实验结论

 

 

 

 方法对比

 

 

 

posted @ 2020-12-01 18:51  临近边缘  阅读(558)  评论(0)    收藏  举报