《DenseFuse: A Fusion Approach to Infrared and Visible Images》论文笔记
这应该算是一个完整的使用神经网络实现的实现图像融合的论文。
思路:
第一层 | 第二层 | 第三层 | 第四层 | 第五层 | 第六层 | 第七层 | 第八层 | |
输入 | x=(256,256,1) | (256,256,16) | (256,256,32) | (256,256,48) | (256,256,64) | (256,256,64) | (256,256,32) | (256,256,16) |
卷积核 | (3,3,1,16) | (3,3,16,16) | (3,3,32,16) | (3,3,48,16) | (3,3,64,64) | (3,3,64,32) | (3,3,32,16) | (3,3,16,1) |
输出 | (256,256,16) | (256,256,32) | (256,256,48) | (256,256,64) | (256,256,64) | (256,256,32) | (256,256,16) | x'=(256,256,1) |
训练的时候,编码部分通道数增加到64,这是通过与前一层累加实现的,而不是通过增加卷积核实现的;解码部分通道数逐层减少这是通过卷积核逐层减少来实现的。损失函数的是由两部分组成一个是SIMM,一个是像素损失。
训练好之后,融合策略有加和策略和l1-norm策略。(有待详写)