MDRN：用于高效图像超分辨率的多级色散残差网络

MDRN：用于高效图像超分辨率的多级色散残差网络

Multi-level Dispersion Residual Network for Efficient Image Super-Resolution

用于高效图像超分辨率的多级色散残差网络

https://ieeexplore.ieee.org/document/10208430

https://github.com/bbbolt/MDRN

CVPRW 2023

摘要

  • 问题：复杂的模型并不是高效图像超分辨率所需要的，也不是边缘设备所能承受的

  • 方法：研究更强大的注意力机制也是提高网络效率的一个有希望的解决方案

    • 本文提出了一种用于EISR的多级分散残差网络（multi-level dispersion residual network MDRN）
    • 增强注意蒸馏块（enhanced attention distillation block）作为MDRN的基本块
      • 多级分散空间注意（multi-level dispersion spatial attention MDSA）
        • MDSA引入了多尺度（multi-scale）和方差（variance）信息，以获得更准确的空间注意力分布
      • 增强对比感知通道注意（enhanced contrast channel attention）
        • ECCA有效地结合了轻量级卷积层和残差连接，提高了通道关注的效率。

  • 结果：实验结果表明，所提出的方法是有效的，与SOTA模型相比，我们的MDRN在性能和复杂性方面取得了更好的平衡。此外，我们还获得了NTIRE 2023高效SR挑战赛模型复杂度赛道第一名。

1. 引言

在空间维度上，ESA采用单一的大尺度压缩/分散过程（即最大池化和双线性插值），对空间信息进行了过度压缩，导致关键区域容易被忽略。因此，我们将原有的单级别压缩/分散过程扩展到多个级别，得到改进的空间注意机制多层次分散空间注意（MDSA）。除了多尺度信息外，在MDSA中加入了局部方差（local variace L-var），更加关注结构信息。ECCA进一步改善CCA的输入和输出特征，并通过残差连接改善特征信息的流动。

MDSA和ECCA的引入使MDRN能够以更低的模型复杂度获得更强大的性能。与其他高效的SR模型相比，MDRN获得了SOTA的性能。作为MDRN的变种，MDRN-s被用于参加NTIRE 2023 ESR竞赛。

2. 相关工作

2.1 轻量级SR模型

2.2 SR的注意力机制

3. 方法

3.1 对增强空间注意力的思考

图2：增强空间注意（ESA）架构和可视化结果。（a）ESA的具体架构。（b）ESA不同分支的可视化结果

图3：重新思考分散分支。Branch DN 是指对原始图像进行 \(N\times N\) 的最大池化用以压缩空间信息，然后插值到原始空间大小。（a）原始图像经过分支D7处理。（b）原始图像经过D7和D5对原始图像处理，并相加。（c）原始图像经过D7、D5、D3处理，并相加。

RFDN和BSRN中原有的增强空间注意(enhanced spatial attention, ESA)模块极大地提高了少量参数网络的性能。它使用一个大尺寸的跨行最大池化来挤压空间信息，计算下采样特征上的注意力权重，最后使用双线性插值将注意力图分散到原始空间大小。然后通过 \(1\times 1\) 卷积将空间压缩前的高分辨率特征直接映射到块的末端。感受野较大的ESA可以很好的考虑空间信息冗余的先验知识，从而简化模型的映射。

如图2（a）所示，ESA由 Brandch-A 和 Brandch-B两部分组成。我们通过sigmoid函数分别激活两个分支，并将结果可视化，如图2（b）所示。我们发现Branch-A主要用于在原始分辨率空间中生成精细注意图，而Branch-B则利用特征空间压缩（maximum pooling）和注意权值分散（linear interpolation）的特点，在低分辨率空间生成分散注意图。为了便于描述，将这两个分支分别称为细化分支和分散分支。

然而，由于ESA在分散分支中只使用单个大尺寸池化核，如图3（a）所示，因此周围不重要的信息很容易被赋予较高的权重，而包含真正关键信息的区域则无法得到重视。

基于从粗到精的思路，我们将单级分散分支扩展到多级，将分散注意分数集中在关键区域，使这些区域逐渐突出，如图3（b）和（c）所示。

图4：从ESA到MDSA的进化设计。（a）ESA。（b）MDSA:将单个分散分支扩展到多个并最终相加，其中“L-var“为局部方差计算。

图5：从CCA到ECCA的进化设计。（a）基本模块CCA。（b）以残差结构的方式将CCA与BSRB相结合。（c）将CCA模块切换到卷积层中间，去除BSRB中的残差连接。

图6：所提出的增强注意力蒸馏块（EADB）的具体架构。（a）BSConv：蓝图可分离卷积，DWConv：深度卷积（b）BSRB：蓝图浅残差块（d）MDSA：多级分散空间注意（e）CCA：对比感知通道注意（f）ECCA：增强对比感知通道注意

3.2 多级分散空间注意（MDSA）

与ESA相比，MDSA可以挖掘关键信息分布的区域。为了更好地关注包含更多结构信息的图像补丁，我们引入了局部方差来表示结构信息。 MDSA的具体过程如图6（c）所示。局部方差计算只增加了一次，内核大小和步长与max-pooling \(7\times 7\) 保持一致。此外，我们还减少了原始Conv Group的深度。因此，相比之下，MDSA并没有引入太多的模型复杂度到ESA。

  1. 减少通道的特征维度，以确保轻量化

    \[F_{cr} = H^{reduction}_{conv\_1}(F_{s_in}) \]

  2. 生成空间注意图，包括不同分支生成的细化注意图和分散注意图

    \[F^i_{scr} = H_{pool_i}(H^{stride}_{conv\_3}(F_{cr}), i=1,2,3 \\ Amap^i_{LR}= H^i_g(F^i_{scr}),\\ Amap^i_{HR}=H_{inter}(Amap^i_{LR}), \\ Amap_{HR} = \sum^3_{i=1}Amap^i_{HR} + H_{conv\_1}(F_{cr}) \]

    • \(i\) ：表示分散的第 \(i\) 个分支
    • \(F^i_{scr}\) ：是 \(F_{cr}\) 在第 \(i\) 个色散分支空间挤压后的输出
    • \(H^{stride}_{conv3}\) ：表示步长为2的3x3卷积
    • \(H_{conv\_1}\) ：表示1x1卷积
    • \(H_{inter}\) ：表示双线性插值，用于将低分辨率注意力图 \(Amap^i_{LR}\) 上采样到高分辨率空间 \(Amap^i_{HR}\)

  3. 合并多层次信息的注意力图 \(Amap_{HR}\) 的通道数进行扩展，使其与输入特征一致。然后使用合并后的注意图 \(Amap^{\uparrow}_{HR}\) 对输入特征 \(F_{s\_in}\) 进行处理

    \[Amap^{\uparrow}_{HR} = H^{expansion}_{conv\_1}(Amap_{HR}) \\ F_{s\_out} = F_{s\_in} \otimes Sigmoid(Amap^{\uparrow}_{HR}) + F_{s\_in} \]

3.3 增强对比度感知通道注意（ECCA）

RCAN将残差结构与通道注意相结合，实现了令人印象深刻的性能提升。IMDN通过同时考虑均值和标准差来选择通道信息，提出了对比感知通道注意（CCA）。受这些方法的启发，我们尝试将残差结构（residual structure）与CCA相结合。 如图5（b）所示，值得注意的是，为了避免引入过多的参数，我们使用蓝图浅残差块（BSRB）来替代普通卷积。然后，受 VapSR（Efficient Image Super-Resolution using Vast-Receptive-Field Attention）中开关空间注意模块设计的启发，我们进一步去除BSRB中的残留连接，并在 point 卷积和depthwised 卷积之间插入CCA模块。

最后，增强对比感知通道注意（Enhanced contrast-aware channel attention）模块，如图5（c）所示：

\[F_c = GELU(H_{conv\_1}(F_{c\_in})) ,\\ F_c = H_{CCA}(F_c),\\ F_{c\_out} = H_{dwconv\_3}(F_{c}) + F_{c\_in} \]

3.4 增强注意力蒸馏块（EADB）

  1. 特征蒸馏

    \[F_{distilled_1},F_{coarse_1} = DL_1(F_{in}),RL_1(F_{in}) \\ F_{distilled_2},F_{coarse_2} = DL_2(F_{coarse_1}),RL_2(F_{coarse_1}) \\ F_{distilled_3},F_{coarse_3} = DL_3(F_{coarse_2}),RL_3(F_{coarse_2}) \\ F_{distilled_4} = DL_3(F_{coarse_2}) \\ \]

    • \(F_{in}\)：输入特征

    • \(DL\)：生成蒸馏特征的蒸馏层

    • \(RL\)：逐步细化粗特征的精炼层

  2. 将来自不同蒸馏层的蒸馏特征连接并融合

    \[F_{fused} = H_{conv\_1}(Concat(F_{d\_1},F_{d\_2},F_{d\_3},F_{d\_4})) \]

  3. 利用改进的空间注意MDSA和通道注意ECCA，进一步提高网络的表达能力

    \[F_{enhanced} = H_{ECCA}(H_{MDSA}(F_{fused})) \]

3.5 网络结构

  • 浅层特征提取

    \[F_0 = H_{SF}(I_{LR}) \]

  • 深层特征提取

    \[F_m = H_m(F_{m-1}), m=1,2,\cdots,n \]

  • 特征融合

    \[F_{fused}=GELU(H_{conv\_1}(Concat(F_1,\cdots,F_n))) \]

  • 重建

    \[I_{SR} = H_{rec}(F_{fused} + F_0) \]

4. 实验

4.1 实验设置

  • 训练数据集：DIV2K + LSDIR

  • 基准数据集：Set5、Set14、BSD100、Ur-ban100、Manga109

  • Y通道上的PSNR和SSIM被用作评估指标（结果更好）

  • LR：64 x 64

  • 数据增强：水平翻转、90度旋转

  • 优化器：Adam

    • \(\beta = [0.9,0.999]\)

  • iterations：1000k

  • batch_size：64

  • learning_rate : 2e-3

    • 并在 \([100k,500k,800k,900k,950k]\) 处减半

  • MDRN

    • 8个EADB

  • MDRN-s

    • 通道数为28

4.2 消融实验

表1：不同注意模块下的MDRN的性能

Effectiveness of Attention Components : 我们以配备了ESA和CCA的模型为基准来验证所提出的关注模块的有效性。结果
如表1所示。与ESA和CCA相比，配置MDSA和ECCA的MDRN性能有了很大提高，参数仅增加12.19%。具体来说，它在DIV2K验证集(100张图像)上提高了0.08dB，在其他常见基准测试上提高了0.45dB。

图7：来自分散分支的分散注意图的可视化结果

表2：MDSA的消融实验，’Base-D7‘ 意味着带有ESA的基本模型减少了 ConvGroup 的深度，并引入残差连接。

Study of Design in MDSA : 我们进一步进行更详细的实验，逐步分析不同设计符号的影响。首先，我们验证了空间注意(SA)机制对MDRN性能的影响。对比表2的前两行，我们可以看到，与没有ESA的模型相比，基本模型仅多了37K(11.67%)个参数，但有了显著的改进。特别是，DIV2K验证集提高了0.12dB。所以，空间注意机制给SR模型带来的改进是不容忽视的。然后，我们减小MDSA中卷积群(ConvGroup)的深度。在DIV2K验证集上，性能仅下降了0.01dB，而在其他基准测试数据集上，性能平均下降了0.01dB。与RLFN的结论一致，即原始ConvGroup对于ESA是冗余的。然后，在浅ConvGroup模型的基础上，我们逐步引入多尺度空间压缩和分散过程(即表2中的D5和D3)，可以清楚地观察到性能的逐步提高。随后，我们引入局部方差计算来提高网络捕获纹理信息的能力，进一步提高了性能，如表2最后一行所示。最后，成功构建了MDSA。与没有ESA的模型相比，MDRN在DIV2K验证集上提高了0.18dB，参数增加了42K(15%)，
在其他数据集上提高了1.13dB。与ESA模型相比，MDRN模型在DIV2K验证集上提高了0.06dB，在其他基准数据集上提高了0.28dB，参数数量仅增加了5K(1.58%)。我们发现MDSA能更好地分布周边重要区域的关注权重大于ESA，这与方法部分的分析一致。此外，为了更好地反映多层次分散的影响，我们将分散分支的注意力图可视化，如图7所示，我们可以看到多层次分散的方式可以更好地定位重要区域。

表3：ECCA的消融实验。LR表示具有CCA的基础模型引入了轻量级卷积层和残差连接。Switch表示CCA切换到轻量级卷积层的中间。

Study of Design in ECCA : 我们进行了详细的实验来验证我们提出的ECCA的有效性。首先验证了CCA对MDRN的影响。如表3所示，从表的前两行可以看出，与没有CCA的模型相比，CCA只带来了微弱的性能提升。随后，我们以残差结构的方式将BSRB[25]与CCA结合起来，然后进一步去除BSRB中的残差连接，在point卷积和深度卷积之间插入CCA模块，如图5 (b)和(c)所示。我们可以看到，与使用CCA的基本模型相比，ECCA带来了显著的性能提高。

表4：MDSA不同分支的消融研究，Refine代表细化分支。Dispersion代表分散分支

Study of Different Branches：在本节中，我们验证了不同支路对MDRN性能的影响。由表4可以看出，同时使用分散分支和细化分支的MDRN的性能要高于只使用单一分支的两种模型。其中，MDRN在Urban100上分别提高了0.19dB和0.05dB，参数分别提高了9.2%和0.6%。这说明分散分支和细化分支都有利于重建。

4.3 与最先进方法的比较

表5：使用最先进的方法进行定量比较，并在1280x720 HQ图像上评估Multi-Adds。

4.4 NTIRE2023挑战赛MDRN-S

“Val PSNR”是在来自DIV2K的100张图像的验证集上测试的PSNR结果，而“Test PSNR”是在由来自DIV2K的100张LR测试图像和来自LSDIR的100张LR测试图像组成的测试集上执行的。与其他竞争解决方案相比，我们的方法具有最少的参数和FLOPs，并且在测试集上具有最佳性能。

5. 结论

在本文中，我们提出了一种用于高效图像超分辨率(EISR)的多级分散残差网络(MDRN)。MDRN的设计灵感来源于蓝图可分离残差网络(BSRN)。我们采用了BSRN的类似架构，但引入了一个更有效的增强注意力蒸馏块(EADB)，用提出的多层次分散空间注意(MDSA)和增强对比度感知通道注意(ECCA)取代原有的空间和通道注意机制。具体来说，MDSA将原始注意图计算分为两个分支:细化分支和分散分支。对于分散分支，MDSA引入多尺度信息来改进BSRN增强空间注意(ESA)中的原始分散分支(即使用单个大尺度池化和插值操作的分支)，基于从粗到精的思想;这使得注意力权重能够更好地集中在重要信息分布的区域。ECCA有效地结合了CCA和轻量级卷积层，优化了CCA的输入和输出特征信息。大量的实验证明了所提出方法的有效性。与目前最先进的高效SR方法相比，我们的方法以较低的模型复杂度实现了最佳性能。此外，作为MDRN的变体，MDRN-S在NTIRE 2023高效超分辨率挑战赛的模型复杂度轨道中获得第一名。

posted @ 2025-04-08 22:27  致郁系游戏  阅读(113)  评论(0)    收藏  举报