0915 每日文献阅读 打卡

 

Read Data: 0915

Publication: CVPR

Title: Deep Wavelet Prediction for Image Super-resolution

Aim:

重构像素值作为网络的输出。本文探索在SR任务中,利用变换域数据的优势,特别是在捕获图像中更多的结构信息以避免伪影的情况下。

Research Question:

一个网络,例如深度卷积神经网络(CNN)或自编码器被训练来学习低分辨率和高分辨率图像块之间的关系。所以,本文研究但图像的高分辨率。图像超分辨率(Image Super-Resolution ,SR)指的是从低分辨率(Low-Resolution,LR)图像中重建出其对应的高分辨率(High-Resolution,HR)图像。

Method:

认识到小波变换提供了一种粗细节图像内容的分离,我们设计一个CNN预测遗漏的细节深处低分辨率图像的小波系数获得超分辨率(SR)的结果, 名为DWSR。我们的网络在小波域中分别有四个输入和输出通道进行训练。输入由低分辨率小波系数的4个子带组成,输出是高分辨率小波系数的4个子带的残差(缺失细节)。利用小波系数和小波残差作为网络的输入和输出,进一步增强了激活映射的稀疏性。它大大减少了学习重构低频细节的网络的训练负担。将输出预测添加到输入中,形成最终的SR小波系数。然后利用二维离散小波反变换对预测细节进行变换,得到SR结果。

Results:

DWSR在计算上更简单,但与最先进的替代方案相比,它能产生有竞争力的、通常更好的结果。

1、速度:100个epoch后,网络完全收敛,使用(Θ,b)进行测试。一个GPU完成100个epoch的训练过程大约需要4个小时。

2、对PSNR和SSIM评估。最好的结果用红色表示,第二好的结果用蓝色表示。对于大尺度因素,DWSR比最知名的方法提供了更好的结果。利用小波特征域进行训练,使VDSR的参数减半。

3、不同方法的执行时间。由于DWSR比大多数参数化方法(VDSR)只有一半的参数,而且得益于真正稀疏的网络激活,因此DWSR应用超分辨率所需的时间要少得多。对于NTIRE测试集中的2K图像,DWSR产生网络输出包括GPU加载时间小于0.1s。

总的来说,基于深度学习的方法比基于稀疏编码和基于字典学习的方法产生更好的结果。与SRCNN相比,dwr在小波域训练中产生了更多的定义结构优势。

Discussion:

Conclusion:

我们的工作提出了一种深小波超分辨率(DWSR)技术,利用(低分辨率)小波子带作为输入恢复缺失的细节。与大多数最先进的方法相比,DWSR在参数数量上具有显著的经济效益,并取得了有竞争力的或更好的结果。我们认为这是因为小波提供了一种图像表示,自然地简化了要学习的映射。当我们使用Haar小波时,不同小波基的影响可以在以后的工作中检验。特别感兴趣的是学习SR任务的最佳小波基。

Further:

 

Ref:

无代码

 

posted on 2021-09-15 10:12  Lf&x&my  阅读(108)  评论(0)    收藏  举报