Single Image Reflection Removal through Cascaded Refinement

论文：Single Image Reflection Removal through Cascaded Refinement

目的：解决了从通过玻璃表面捕获的单个图像中消除不良反射的问题，这对于照片增强来说是一个不适定的、具有挑战性但实际上很重要的问题。受社交网络中隐藏社区检测的迭代结构约简的启发，提出了一种迭代增强卷积LSTM网络(IBCLN)，该网络能够级联预测以消除反射。IBCLN是一个级联网络，它以相互提高预测质量的方式迭代地重新定义传输和反射层的估计，并且跨级联步骤的信息使用LSTM传输。作者认为，传递是强有力的主导结构，而反射是弱有力的隐藏结构。它们在单个图像中是相互补充的，因此在原始图像的一侧进行更好的估计和减少会导致在另一侧进行更精确的估计。为了便于在多个级联步骤上进行训练，作者使用LSTM来解决消失梯度问题，并提出剩余重建损失作为进一步的训练指导。此外，作者创建了一个真实世界图像数据集，其中包含反射层和地面真实透射层，以缓解数据不足的问题。综合实验表明，与目前最先进的图像去噪方法相比，该方法能有效地去除真实图像和合成图像中的图像去噪。

 

作者使用两个卷积LSTM网络分别生成预测传输层和预测反射层。每个子网的输入包括传输子网和反射子网的输出。此外，两个子网络的输出被组合在一个重构损失内，以在每个时间步骤监督整个模型。这两个子网络之间的协同作用导致它们的预测相互促进，从而导致辅助信息的逐步改善和对传输的最终准确估计。每个子网络由一个编码器和一个卷积LSTM单元组成，编码器有11个从输入图像中提取特征的卷积块，解码器有8个卷积层，用于生成预测的传输层或预测的剩余反射层。每个卷积层之后是ReLU激活，除了LSTM层之后是Sigmoid激活或Tanh激活。在每个子网络中，编码器和解码器之间有两个跳跃连接，以防止输出模糊。卷积层和跳跃连接类似于上下文自动编码器。 

 

 

值得注意的是损失函数：