2402arxiv_Troublemaker Learning for Low-Light Image Enhancement(看排版像是2024CVPR,不确定==)
一、Motivation
(1)监督方法在收集低光/正光图像对时成本高。
(2)无监督方法投入大量精力来制作复杂的损失函数。
question:如何设计一种既能减轻对成对数据的依赖又能利用简单损失函数的训练范式
(3)普通CNN只是局部处理,很难进行和其他块的关注,但是基于self-attention的复杂性很高
二、Contribution
1、训练阶段:
(1)TroubleMaker Learning (TML) strategy:使用较少的成对数据,输入正常光照图像,经过端到端的网络,输出低光照的图像
(2)使用上面获得低光图像再经过增强网络得到增强后的图像,增强光图像和原正常光图像做约束
测试阶段:
(3)直接使用低光照图像放入增强网络得到增强后图像
2、提出了复杂性只有O(n)且可以和其他块进行关注的CNN
三、Network
1、训练阶段:Step1+Step2
Step1:TroubleMaker Learning (TML) strategy:使用较少的成对数据,输入正常光照图像,经过端到端的网络,输出低光照的图像
Step2:
(1)TM冻结:输入正常光照图像,经过TM,输出低光照的图像PL
(2)PM是粗糙增强网络:低光图像PL经过粗糙增强网络PM得到粗糙预测图像,再进过精细增强网络EM得到最终预测图像 H,输入的正常光图像分别约束PM和EM的输出结果
2、测试阶段
低光图像经过粗糙增强网络PM得到粗糙预测图像Coarse image,再进过精细增强网络EM得到最终预测图像Prediction
3. TM、PM、EM三个网络均使用U-Net结构的UGDC
4. Global dynamic convolution:
(1)self-attention:
(2)GDC待学习
四、实验结果
1、对比实验
RELLSUR数据集:
2、消融实验
(1) 证明只需要200对低光/正常光 图像就可以使得TM网络产生的低光图像有很好的效果
(2)组件消融