[Papers-Image fusion]2017-12-27

本周完成情况：

1.论文阅读：

　　论文一：

　　（1）论文标题：《Multi-focus image fusion with a deep convolutional neural network》 2017

　　（2）论文内容：1.通过将大量的清晰和模糊的图片放到CNN模型中进行训练，一个训练样本为一对图片（分别为清晰（p1）和模糊（p2）的图片），若图片p1清晰，图片p2模糊则为正样本，反之则为负样本。CNN模型的输出值反映两幅图片的聚焦程度（the output value indicates the focus property of the patch pair）；

　　　　　　　　

　　　　　　　　　  2.在图像融合阶段，将两幅多聚焦的图像输入CNN模型中，得到一幅Score Map，反映两幅输入图像的聚焦情况；

　　　　　　　　　　

　　　　　　　　     3.对Score Map进行二值化分割得到一幅初始的initMap，再对initMap采用small region removal strategy去除误分类的像素得到final Map；

　　　　　　　　　 4.根据得到的final Map对图像进行融合。

　　（3）论文创新：1.通过使用深度学习CNN模型把the activity level measurement and fusion rule结合起来，弥补了传统空间域和频率域的不足。

　　　　　　　　　  2.通过将真实高质量的图像进行高斯模糊处理（a Gaussian filter with a standard deviation of 2 and cut off to 7 × 7 is adopted here.）得到大量清晰和模糊的图片来训练CNN模型。

　　（4）想法：1.其实采用CNN模型是将清晰和模糊看做是一种二分类的问题，是否可以直接将清晰和模糊的图片拿去给CNN模型训练，清晰的图片作为正样本，模糊的图片作为负样本，得到的模型会更具鲁棒性。

　　　　　　（文中采用的正负样本都是一对图片，即统一场景的清晰和模糊图片，并且CNN模型权值使用的是一样的share the same weights）

　　　　　　　　2.本文方法对于平滑区域如上图fig3中脸部轮廓区域，最后使用的根据阈值来判断清晰模糊，是否会带来一定的偏颇和局限性，影响实验效果（本文实验融合效果不错）。

　　　　　　

2. 学习

　　（1）学习caffe深度学习框架

　　（2）熟悉caffe源码等配置文件。

　　（3）学习python和matlab脚本语言。

下周计划：

1.阅读图像修复论文并完成相关图像修复实验。

2.学习caffe框架及做相关实验。