【CVPR2020】Multi-Scale Progressive Fusion Network for Single Image Deraining
论文指出当前图像去雨方法的问题是：their single-scale frameworks can hardly capture the inherent correlations of rain streaks across scales. 同时，作者用一个图来说明 collaborative representations of reain streaks. 图中白色框中的雨条，与同尺度的多处雨条外观相似，同时，与1/2尺寸图像中多处的雨条外观也相似，因此，得出一个结论：rain streaks both from the same scale and acroos different scales encode the complementary or redundant information for feature representation, which would help deraining in the orginal image.
为解决这个问题，作者提出了 multi-scale progressive fusion network (MSPFN) ，框架如下图所示。首先将图像使下采样到1/2和1/4的尺度，然后使用一次卷积得到 initial features，然后依次进行 coarse fusion，fine fusion，rain streak reconstruction 处理，得到图像中的雨图。
coarse fusion module：设计了并行的 residual recurrent units (RRU)，结构如下图所示。这样的设计主要为了达到如下目的：1）Conv-LSTM 可以获取全局的纹理信息（capture the complementary or redundant rain information）。2）多尺度结构可以增大感受野。3）高分辨率的表达可以从之前的阶段受益。
multi-scale fine fusion: 在这个除段引入 了 channel attention unit 来实现 discriminative learning enahncement through focusing on the most informative scale-specific knowledge, making the cooperative representation more efficient. 为了降低复杂度，采用了 U-shape 的结构，如下图所示。
reain streak reconstruction: 上个阶段的结果进行卷积，最后融合。
损失函数包括两部分：重建损失 \(L_{con}\)以及保边损失\(L_{edge}\)。这部分比较简单，可以参考作者的论文。
