论文笔记（一）：基于特征动态对齐和细化的VI图像融合--平移鲁棒融合

• 文章标题
  • Feature dynamic alignment and refinement for infrared–visible image fusion: Translation robust fusion
    • Huafeng Li,云南昆明科技大学；Junzhi Zhao,云南昆明科技大学；Jinxing Li; Zhengtao Yu ; Guangming Lu
  • doi:10.1016/j.inffus.2023.02.011
  • https://github.com/lhf12278/RFVIF.
• 摘要翻译
  • 不同传感器所采集的的不同图像会存在着平移位移现象，会使融合图像的性能下降。最直接的解决办法是对源图像进行图像配准。由于红外和可见光图像之间巨大的模态差异，很难得到完整配对的图像。作者针对带有平移位移的源图像，以特征对齐来代替图像配准。首先提出交叉调制策略和特征动态对齐来测量位移的空间相关性、动态提取对其特征。基于局部相似度来设计特征细化模块来增强可见光图像的纹理细节信息，抑制红外图像的伪影信息。
• 框架图
• 一句话总结
  • 作者采用了特征对齐的方法（以可见光模态作为参考，将红外特征进行对齐）来实现带有平移位移的源图像的融合，不需要使用图像配准，为多模态图像融合提供了新的想法。

• 实现思路
  • 特征提取：首先CMFEM模块使用三层均有MSRB和交叉调制层来对浅层和深层进行充分的语义信息的提取，使用交叉调制策略来挖掘红外和可见光图像的潜在关系，生成调制参数。
  • 特征对齐：将每层的所调制的红外和可见光特征进行通道维数的叠加，经过动态核生成模块来生成对应的动态核参数，用来模拟源图像的不对齐度，并将其对红外调制特征向可见光调制特征对齐，进行图像融合。
  • 多粒度特征细化：将每层所融合的图像进行通道维数的叠加，使用局部特征细化模块来增强可见光图像的纹理信息，抑制红外图像的伪影。
  • 图像重建：将三层细化之后的图像采用金字塔特征融合，最终实现无需图像像素配准的带有平移位移的红红外和可见光图像的融合。

• 新颖观点
  • 交叉调制在干什么？
    • 运用仿射变换（线性变换+平移变换）的原理y=a*x+b，探究两个源图像特征的平移位移关系。
  • 动态核生成的参数如何使用：
    • 通过卷积层、平均池化（降维）、全连接层得到动态卷积核向量。来细化红外特征。
  • 多粒度特征细化工作原理：
    • 测量融合图像和可见光图像的相似度

• 内容摘抄
  • 低层特征有着空间细节，深层特征有更丰富的语义信息。
  • 固定参数的编码器不能模拟带有水平和垂直的移动的图像对，解决方法是动态提取潜在关系特征。
  • 用可见光图像作为参考，不仅可以指导红外特征的对齐，还能提供更多纹理信息。
  • 原始红外图像的边缘会存在更多的伪影，使用梯度映射，通过测量梯度特征和融合特征的相似度来抑制。