论文阅读:FADNet(2022-AAAI)
题目:Generative Adaptive Convolutions for Real-World Noisy Image Denoising(AAAI-2022)
paper:https://ojs.aaai.org/index.php/AAAI/article/view/20088/19847
动机:
很多深度学习去噪方法的性能提升过度依赖于训练集和测试集的域是否很好地匹配。由于实际噪声的统计量与设备和场景有关,训练集和测试集之间存在噪声差异,会出现过拟合或性能下降的问题。不能很好的用来处理具有未知噪声类型的噪声图像。
中心思想:
采用动态滤波器预测方案,设计一种灵活和自适应的去噪网络,增加对处理未知和复杂的真实噪声的泛化能力。
创新:
1)配备动态滤波器的去噪器,可以很好的处理真实噪声,对未知噪声图像表现出优异的泛化能力;
2)结合动态滤波器和傅里叶变换,用于自适应权重预测。
网络整体结构:

FADNet由两个子网络组成,噪声去除和动态滤波器生成。噪声去除子网络采用编解码器结构设计。动态滤波器生成子网络(DFGS)涉及核构造,将噪声输入自适应转换为权值核,进行特征调制和更新。
DFGS
目的:一是防止噪声去除子网络对有限训练数据的过拟合,二是动态有效地对测试噪声图像中的不同噪声进行去噪调整。
主要包括两部分:傅里叶变换和平面动态滤波模块(PDFM)。
优点:重构出的P产生了重要的语义信息和视觉结构,A表示了图像中的颜色信息,对于生成的滤波器适应具有纹理和结构信息的图像内容非常重要。通过引入傅里叶变换,使得滤波器编码器在没有复杂的网络设计的情况下获得基本的语义和颜色深度特征。
PDFM

目的:丰富卷积核,使其能够很好地泛化不同地噪声输入。
将空间注意力和通道注意力合并到动态过滤器生成步骤中。使滤波器生成过程解耦到空间和通道中,实现一个内容自适应和轻量级的权重核预测。
优点:在傅里叶变换地引导下,PDFM能灵活地适应图像内容;有效地利用了空间和信道信息,协同增强了表示能力;减少了一定的内存和计算消耗。
实验:



浙公网安备 33010602011771号