论文阅读 | DUN-CSNet

DUN-CSNet

HIT TMM 2024

Architecture

DUN-CSNet 的每个 phase 由两个交互网络组成：内容自适应梯度下降网络 (Content Adaptive Gradient Descent Network，CA-GDN) 和形变不变非局部邻近映射网络 (Deformvariant Non-Local Proximal Mapping Network，DN-PMN) 组成。

CA-GDN | SSG-Net

步长生成子网络 (SSG-Net)，通过生成内容感知的步长图，为输入图像的不同纹理动态分配相应的步长。

Consist of 2 modules:

1. Feature Extraction Module
2. Normalization Module

Feature Extraction Module

提出一个内容相关的、pixel-wise 的自适应步长调整网络。

\[P^{(k)} = \mathcal{G}^{(k)}\left(h^{(k-1)}\right) \\ \mathbf{r}^{(k)} = \mathbf{x}^{(k-1)}- \mathcal{G}^{(k)}\left(\mathbf{h}^{(k-1)}\right) \boldsymbol{\Phi}^{\mathrm{T}} (\boldsymbol{\Phi} \mathbf{x}^{(k-1)} - \mathbf{y}) \]

其中 \(\mathbf{P}\) 为 Step Size Map，不同元素表示不同纹理的步长。\(\text{h}_{k-1}\) 表示 DUN 第 \(\text{phase}_{t-1}\) 输出的中间特征 (intermediate feature).

\(\mathcal{G}^{(k)}(\cdot)\) is like:

\[h^{(k-1)} → Conv → (\text{FEB}_{1..Q}⊕1) → Conv \]

\(\text{FEB}\) is like:

\[Conv → BN → ReLU \]

Normalization Module

\[\text{Conv → Tanh → ⊕1} \]

最后的 (+1) 确保步长非负性。

Experimental Setup

• \(K\) is set to \(15\)
• \(c\) is set to \(32\) (what is this ?)
• \(Q\) is set to \(3\)