论文阅读：CMFNet

题目：Compound Multi-branch Feature Fusion for Real Image Restoration

paper：https://arxiv.org/pdf/2206.02748v1.pdf

code：https://github.com/FanChiMao/CMFNet

摘要：图像恢复是一个具有挑战性和不适定性的问题，也是一个长期存在的问题。然而，大多数基于学习的恢复方法都是针对一种退化类型提出的，这意味着它们缺乏通用性。在本文中，我们提出了一个受人类视觉系统（即视网膜神经节细胞）启发的多分支修复模型，该模型可以在一个通用框架内完成多个修复任务。实验表明，所提出的称为CMFNet的多分支架构在四个数据集（包括图像去叠、去混叠和去模糊）上具有具有竞争力的性能结果，这些数据集是自动驾驶汽车非常常见的应用。

论文的动机：大多数基于图像恢复方法都是针对一种退化类型提出的，缺乏通用性。旨在提出一个通用框架能够完成多个修复任务。

主要思想：受人类视觉系统的启发，复杂的视觉神经网络的接收器是RGC，由三种细胞组成：P-cells、K-cells、M-cells。它们对外部不同的刺激有不同的敏感度，P-cells对图像的形状和颜色敏感，K-cells主要对颜色变化更敏感，M-cells只传输明暗信号，在低空间频率比高空间频率更敏感。基于此提出多分支修复网络，完成图像去雾、去雨和去模糊的任务。

网络的整体架构：

 由三个分支分别模拟在接收到来自锥细胞和杆状细胞的信号后P-细胞、M-细胞和K-细胞的行动。使用不同的注意块来替换每个分支中的原始卷积。并引入残差注意力模块RAM和混合跳过连接MSC获得残差图像。

分支网络：

 分支网络之间主要区别是注意力模块类型的不同。

P-cells网络。使用像素注意力块（PAB）来模拟对图像的颜色和形状（边缘）敏感的P细胞。生成3维注意力掩码，所以输出的特征图具有局部信息。并且维数在三个关注块中是最大的，因此计算时间最长。相反，PAB可以获得最准确的注意力特征。PAB和P-cells有一对一的对应关系：1）P-细胞的传输速度最慢，因为像素注意力图的参数最多；2）P-单元的空间分辨率最大，这与像素注意力掩模的最大维度有关。

M-cells网络。M-cell具有最快的传输速度和最小的空间分辨率，这可以通过通道注意块（CAB）来解释。由于GAP，输出特征具有非局部（全局）信息，对应于M细胞对图像亮度的响应。

K-cells网络。对于传输速度和空间分辨率，K细胞都处于三者中的中等水平。通过空间注意力块（SAB）来模拟它，生成二维注意力掩码。与通道注意一样，空间注意也由GAP或最大平均池（MAP）操作，以将特征压缩到二维。由于池化层的输出具有非局部（全局）信息。对应K细胞主要对颜色变化做出反应，这也属于全局信息。

混合跳过连接（MSC）

用MSC代替传统的跳转连接，它集成了每个分支的RAM输出图像。图3是MSC的框架，它有三个输入路径，使用可学习常数a（θ）通过反向传播优化整个架构。主路径（像素分支网络的输出图像）乘以参数a（θ），其他路径（通道和空间分支网络的输入图像）乘以（1− a（θ））/2。因此，来自MSC的输出残差图像IR可以表示为：

a（θ）是由参数θ从0到1界定的sigmoid激活函数的可学习参数。也可以将其视为加权平均跳跃连接，论文也通过实验也证明了MSC的有效性。

提出了一种新的LOSS：

 

L1和L2损失都属于像素损失，没有考虑全局信息，因此通常会遇到过平滑问题。

PS损耗有两个优点。首先，它适用于不同的图像恢复任务，因为它采用两个标准度量作为损失函数。另一个优点是，与简单的将不同的损失函数加权组合相比，PS损失不需要额外的参数。