【AdaDSR】2020-ECCV-Deep Adaptive Inference Networks for Single Image Super-Resolution-论文阅读

AdaDSR

2020-ECCV-Deep Adaptive Inference Networks for Single Image Super-Resolution

来源：ChenBong博客园

• Institute：HIT, POLYU HK
• Author：Ming Liu, Wangmeng Zuo*(H-78), Lei Zhang(H-125)
• GitHub：https://github.com/csmliu/AdaDSR
• Citation：5

Introduction

样本自适应的动态稀疏卷积超分网络

在已有的超分网络backbone的基础上, 额外引入一个轻量的Adapter, 根据输入特征和目标平均深度(目标开销), 输出不同block的depth map (=>feature map稀疏mask), 节约部分区域的卷积运算

实现了样本空间维度上的稀疏计算+目标计算量自适应的动态推理

Motivation

简单的区域使用比较少的block就足以达到比较好的超分效果

Contribution

• 引入一个轻量的Adapter, 用于预测backbone网络中不同block的depth map (=>feature map稀疏mask), 实现样本+资源的自适应推理

Method

Backbone

backbone的3个部分:

• feature extraction \(\mathcal{F}_e\) : \(\mathbf{z}_{0}=\mathcal{F}_{e}(\mathbf{x})\)
• residual blocks \(\mathbf{z}^{o}=\mathbf{z}_{0}+\sum_{l=1}^{D} \mathcal{F}_{l}\left(\mathbf{z}_{l-1} ; \Theta_{l}\right)\)
• HR reconstruction \(\mathcal{F}_r\) : \(\hat{\mathbf{y}}=\mathcal{F}_{r}\left(\mathbf{z}^{o} ; \Theta_{r}\right)\)

Adapter

• Adapter 根据输入特征 \(\mathbf{z}_{0}\) 和 目标深度 d, 输出2D的depth map: \(\mathbf{d}=\mathcal{P}\left(\mathbf{z}_{0}, d ; \Theta_{a}\right)\) , 其中 \(\mathbf{d} \in \mathbb{R}^{G \times \mathrm{H} \times \mathrm{W}}\) (for AdaEDSR G = 1, while for AdaRCAN G = 10)
  • 每个stage 1个depth map
    • EDSR 1个stage, 每个stage 32 层,
    • RCAN 10个stage 每个stage 20 层
• 再根据 \(\mathbf{d}\) 生成backbone residual block的mask: \(\mathcal{G}_{l}\left(d_{i j}\right)=\left\{\begin{array}{cl}0, & d_{i j}<l-1 \\ 1, & d_{i j}>l \\ d_{i j}-(l-1), & \text { otherwise }\end{array}\right.\)
  • e.g. \(d_{ij}=3.5\)
    • \(\mathcal{G}_{l=3}=1\)
    • \(\mathcal{G}_{l=4}=0.5\)
    • \(\mathcal{G}_{l=5}=0\)
  • 浅层不计算, 深层也不计算
• backbone residual block 卷积时, 会乘上mask: \(\mathbf{z}^{o}=\mathbf{z}_{0}+\sum_{l=1}^{D} \mathcal{G}_{l}(\mathbf{d}) \circ \mathcal{F}_{l}\left(\mathbf{z}_{l-1} ; \Theta_{l}\right)\)

Sparse Convolution

提供了稀疏卷积的cuda算子

Loss

重建loss: \(\mathcal{L}_{r e c}=\|\mathbf{y}-\hat{\mathbf{y}}\|_{1}\)

目标深度loss: \(\mathcal{L}_{\text {depth }}=\max (0, \bar{d}-d)\) , 当Adapter输出的 depth map 的平均深度 \(\bar d\) 超过目标深度d时, 施加惩罚, 其中目标深度d是从 [0, D] 随机采样的 (D is 32 and 20 for AdaEDSR and AdaRCAN, respectively)

总loss: \(\mathcal{L}=\mathcal{L}_{\text {rec }}+\lambda \mathcal{L}_{\text {depth }}\)

Experiments

Summary

pros:

• 样本空间分辨率维度上的动态深度+资源自适应
• 第一个在底层视觉上做动态稀疏卷积的工作

cons:

• 性能上比不过一些现有的backbone网络, 但可以在一定资源范围内无需retrain动态调整推理开销