Cascaded Deep Video Deblurring Using Temporal Sharpness Prior阅读笔记

1.本文创新点:

提出了一个CNN,可以同时估计光流和视频中模糊的隐藏帧

为了更好的研究连续帧的特性,在CNN模型中开发了一种时间清晰度。

2.算法介绍:

该算法包含optical flow estimation module, latent image restoration module, temporal sharpness piror.

optical flow estimation module为latent image restoration module提供运动信息,而latent frame restoration module又进一步优化了optical flow estimation module,让它更准确。temporal sharpness prior可以从邻域的帧探索出sharpness pixels,从而更好的进行帧的恢复。所有模型在统一的框架里以端到端的方式统一训练。

optical flow estimation通过PWC-Net进行计算。

 

 

 

Latent frame restoration module用差分模型重建latent frame,用一个deep CNN模型重建latent frame Ii

 

 

用双线性插值计算wraped frames。

temporal sharpness prior module:定义评分标准:

 

 

如果接近1,则像素越清晰,用S来帮助深度神经网络区分一个像素是否清晰,并且帮助latent frame恢复。为了增强S的鲁棒性,定义了D:

 

 

定义latent frame 重建:

 

 

训练方式:用cascaded方式

posted @ 2020-07-15 22:52  sariel_sakura  阅读(981)  评论(0编辑  收藏  举报