Seven ways to improve example-based single image super resolution【阅读笔记】

提出来了提升example-based single image SR的七个技巧。

数据集：Train91, Set5, Set14, B100, L20

用于实验的方法:Yang, Zeyde, ANR, A+, SRCNN

 

【前置知识】

稀疏表示：

　　用较少的基本信号（原子，从过完备字典中选出）的线性组合来表达大部分或全部的原始信号。

　　假设用一个$M\times N$的矩阵表示数据集$X$， 每一行代表一个样本，每一列代表样本的一个属性。一般而言这样的矩阵是稠密的。稀疏表示就是寻找一个系数矩阵$A(K\times N)$和一个字典矩阵$B(M\times K)$，使得$B\times A$可以尽可能还原$X$，并且$A$尽可能稀疏。$A$就是$X$的稀疏表示。寻找字典的过程被称为字典学习。

用稀疏表示进行SR：

　　参考：https://blog.csdn.net/u011630458/article/details/65635155

　　基于一个前提：HR和LR的稀疏表示相同。因此在使用LR字典找到稀疏表示后就可以用HR字典进行复原。

　　Anchored Neighborhood Regression：对每一个原子额外计算一团邻居原子和到HR字典的投影矩阵。用投影矩阵进行复原。

　　A+：是对ANR的改进，改进了寻找投影矩阵时寻找邻居的方法。

 

1.Augmentation of trainning data

　　许多工作都说明了训练数据的增加可以有效提升表现。通过augmentation的方法扩大数据集，增加数据量而不会增加预测时的时延。

2.Large dictionary and hierarchical search

　　字典大小增加，稀疏表示方法的效果一般也会增加。在A+中，anchor越多，误差越小，但由于$O(N)$的查找时间速度会减慢。因此提出了$O(\sqrt{N})$的hierarchical search，用K-Means将$N$个anchor分为$\sqrt{N}$组，2层的结构，每一层都是线性查询。

3.Back projection

　　让output退化后的图像与LR尽可能一致

4.Cascade of anchored regressors

　　放大倍数越小SR结果越准确。因此有人提出逐步放大，但error会累积并且时间会随步数而增多。Instead of SR the LR image in small steps, go in one step再用相同SR模型adapted to this input 进行refine。【我的理解是用一个模型迭代着SR，先进行SR再用结果进行SR....后续需要具体看一下怎么使用】

5.Enhanced prediction

　　对LR图像进行旋转和对称变换，得到8张LR图像。对每一张都进行一次SR，逆变换后对他们取平均值得到结果。

6.Self-similarities

　　一般的字典学习相当于建立了external dictionary，文中提出可以利用internal dictionary.当然最好的结果是同时使用external和internal字典。

　　“We point out that depending on the size of the input LR image and the textual complexity, the internal dictionary can be better than the external dictionaries”。

　　【具体internal字典怎么建立，怎么用？】

7.Reasoning with context

　　using the intermediate surrounding of a LR patch should help

　　对每一个anchor都不只训练一个regressor而是训练四个。