Image Super-Resolution Using Very Deep Residual Channel Attention Networks

摘要：CNN的深度很关键，但是更深的网络越难训练。低分辨率的输入特征包含了丰富的低频信息，它在不同的通道中被平等对待，因此阻碍了cnn的表达能力。为解决这个问题，提出了RCAN(very deep residual channel attention networks) RIR(residual in residual)结构，RIR允许通过多个跳转连接绕过大量的低频信息，使主网集中学习高频信息。

通道注意力机制。

介绍:简单的堆叠残差块构建深层网络并不能获得很好的表现。深层网络到底有没有用，如何构建更深的可训练的网络。 大多数CNN方法没有对通道做研究，缺少了对不同信息(低频和高频)的灵活处理.图像SR可以看作是一个过程，在这个过程中我们试图恢复尽可能多的高频信息。LR图像本身包含了大部分低频信息，这些信息可以直接转发到最终的HR输出，并且不需要太多的计算。这种过程会浪费对丰富的低频特征的不必要的计算，缺乏跨特征通道的区分学习能力，最终阻碍了深层网络的表现力。 RCAN: 可以有深层可训练网络，自适应地同时学习更多有用的信道特性。为了解决深层网络（400多层）的训练问题，提出了一种RIR结构。residual group(RG) ：一个基础模块和长跳连（LSC）在粗对象层次进行残差学习。在每个RG模块里，堆叠简单的带有短跳连的残差模块。长，短跳连以及残差模块中的短跳能让许多低频信息直接与identity相连，简化了信息流.. 提出的通道注意力机制，通过对特征通道间的相互依赖性进行建模，自适应地调整每个通道的特征。

相关工作： Deep CNN for SR.；Attention mechanism.

RCAN

网络结构

 

 四个部分：浅层特征提取，RIR 深层特征提取，上采样模块，重建部分。

和文献10，21一样只使用第一层卷积来提取浅层特征，接着会在使用RIR模块的深层特征提取，RIR有更大的depth和提供了更大的感受野，所以叫做deep feature. 然后上采样。

上采样有好几种选择，转置卷积，nearest-neighbor upsampling + convolution , ESPCN,。post-upscaling strategy 比pre-upscaling SR方法更有效(DRRN[5] MemNet[9])

最后一层重建（卷积）

然后是损失函数的选择，L1​，L2, perceptual and adversarial losses.

为了展现RCAN的厉害选用​（只是为了PSNR更高把）

RIR

G residual groups (RG) and long skip connection (LSC)

上面的就叫RIR

通道注意力

Previous CNN-based SR methods treat LR channel-wise features equally, which is not flexible for the real cases. In order to make the network focus on more informative features, we exploit the interdependencies among feature channels, resulting in a channel attention (CA) mechanism

主要有两个地方：首先，LR空间中的信息具有丰富的低频成分和有价值的高频成分，低频部分似乎更加扁平化，高频成分通常是区域，充满边缘，纹理和其他细节。另一方面，Conv层中的每个滤波器都以局部感受野运行。因此，卷积后的输出无法利用本地区域之外的上下文信息。

 

 H：全局池化

W: 权重层

f：sigmoid function

r：缩小比例

 

 设置细节：

RIR结构设置10个（10个RG），每个RG中RCAB20个，，只有channel attention里conv用的卷积核1x1，其他的conv层卷积核都为3x3，zero-padding,,,,通道C=64，C/r = 4，，所以r = 16，，upsampling用ESPCNN中的pixshuffle，，最后一层conv的C=3

实验：

 

 Datasets and degradation models： 训练集：DIV2K,。。测试集：5个标准benchmark, Set5 [36], Set14 [37], B100 [38], Urban100 [22], and Manga109 [39].

我们使用Bicubic（BI）和Blu-downscale（BD）退化模型进行实验

Evaluation metrics:  PSNR,  SSIM on y channel of transformed YCbCr space

Training settings:  数据增强：800 train images 随机旋转90, 180, 270°, 水平翻转，，，提取的patch大小为48x48,, batchsize=16..

ADAM :  β1 = 0.9, β2 = 0.999, and  = 10e−8

初始lr： 10e-4,,,每2x10e5 iter后减半