【超分】从近两年的NTIRE看最前沿的超分网络结构：SPAN

在笔者还在读研的年份（2020~2023），超分领域还是整个Low-Level在网络结构改进上的试验田。那时候超分领域的主流叙事是：我提出了xxx模块/yyy网络，在zzz数据集上达到了nnn的指标提升。随后该模块很快就会被应用到其他Low-level领域里，例如RCAN，RDB，EDSR等。
最近我在回顾Low-level领域的发展，超分的网络结构改进是一个不错的起点。
NTIRE2025、2026两年各前三名和基线方法整理如下


看到几点有意思的结论

1. 可以看到两年比赛的前三名相比各自的基线方法在指标上几乎已经没有提升，刷排名依靠的是更短的耗时，更少的参数
2. 仅从SR的发展看，这两年的主要进步是2026基线方法SPAN相比2025基线方法EFDN在取得几乎一样指标的同时，运行速度、计算量、参数量明显优化
3. 从2025到2026的两年过去了，但几乎所有方法还是直接基于2024的冠军方案SPAN

看到这些结论，我个人的感觉是，纠结于网络结构本身是一个挺没劲的事情。超分网络结构本身的发展几乎趋于停滞，真正能产生价值的地方在于业务真实面临的问题，而不在于数据集上的指标。
当然我们出于学习的心态，还是要看超分网络。如果只看一个，那么无疑理解SPAN网络就够了

https://github.com/hongyuanyu/SPAN
SPAN的效果
2倍超分效果尚可，4倍超分开始画油画了。画油画问题是SR任务面临最严重的问题

SPAN的架构

从模型架构上来看，SPAN还是在沿用17/18年开始的范式，这套范式可能在小修小补，但是一直沿用至今。这套范式的特点是

1. 所有上采样在网络最后完成，通过一个pixelshuffle层
2. 所有特征层都在原尺度维度上进行卷积，堆叠多个子模块。（其他low-level任务一般会经过UNet的多尺度结构）
3. 浅层特征通过跳连引入深层
   SPAN也是在遵循这套范式.

SPAN的注意力机制
作者对残差注意力的理解，是这篇论文里比较有意思的点

1. 卷积数值绝对值大的地方，就是特征丰富的地方。因此不需要额外用一个卷积分支来学习注意力来源，这一点直接反驳了RCAN的CA做法，也反驳了low-level领域对注意力的直接做法
2. 用一个原点对称的注意力权重计算函数，而不是简单的sigmoid。简单理解就是sigmoid缺点是即使负的绝对值很大，也会把它压掉。这不是我们想要的，反而比原始特征更差。但是实际上，作者自己的实验结果撑不起来这个论断
   
3. 如果只用注意力机制的话，会造成信息丢失：卷积数值小的地方就会一直乘上一个很小的增益，很快就衰减掉了。这样只要前面几个卷积对 注意力区域判断 出错，就很难挽救回来。所以必须要有残差。
   但是我们应该注意到，残差是放在注意力机制之前做的。这一点是合理的，因为注意力图刚好帮我们算出来哪些地方需要增强，然后总体作用挂在残差之后的结果上。
   
   看起来又是先射箭再画靶，先有结果，然后找一些理由
4. 和之前的注意力网络模块的区别。之前的网络模块，它们的残差都是在最外面（例如RCAN），这个网络的残差和attent交织在一起。这里的区别相当于，给attent有了一个可学习的权重，才是效果好的本质