口播

 

这篇论文提出的 “物理增强深度学习（physics enhanced deep learning）” 单像素成像方法，核心是把单像素成像的物理原理（测量过程、信号生成规律）与深度学习的拟合能力结合起来，而不是让深度学习 “凭空” 还原图像。具体来说，物理方法的作用贯穿了从 “信号获取” 到 “图像还原” 的全过程，与深度学习形成了互补，我们可以分 3 个关键环节来理解：

1. 物理建模：用数学公式模拟单像素成像的 “测量过程”

单像素成像的物理本质是 “光信号的调制与探测”：真实场景中，我们用一系列图案（如代码中的trained_patterns）对物体反射的光进行调制，再用单像素探测器测量每次调制后的总亮度（即之前说的 “1024 个信号”）。

 

论文通过数学公式严格模拟了这个物理过程（对应代码中的测量建模）：

 

• 在gen_simulation_data.py中，用卷积操作tf.nn.conv2d(im_tf, trained_patterns, ...)模拟 “图案调制光信号” 的物理过程 —— 图像（物体）与图案的卷积结果，就是单像素探测器测得的总亮度信号y（这一步完全遵循光的叠加原理）。
• 这种模拟确保了生成的 “测量信号y” 符合真实物理场景，为后续的深度学习提供了 “符合物理规律的数据”。

2. 物理先验：用 DGI 算法做 “初步还原”，给深度学习 “搭框架”

拿到 1024 个信号后，论文没有直接让深度学习从零开始还原图像，而是先用基于物理原理的 DGI（Differential Ghost Imaging）算法做初步重建（对应代码中的DGI_reconstruction函数）。

 

DGI 的核心是利用物理规律反推图像轮廓：

 

• 从代码看，DGI_reconstruction函数通过图案矩阵（patterns）和测量信号（y），用线性代数方法（类似解方程组）计算出模糊图像。具体来说，它先对图案做均值修正（消除背景干扰），再结合信号y的强度分布，反推出物体的大致亮度分布（这一步完全基于光的传播和信号叠加的物理公式）。
• 这个模糊的 DGI 结果相当于给深度学习提供了 “物理约束的初始轮廓”，避免了深度学习因缺乏先验知识而生成不符合物理的图像（比如出现现实中不可能的亮度分布）。

3. 物理约束：让深度学习在 “符合物理规律” 的范围内优化

深度学习（U-Net 网络）的作用是优化 DGI 的模糊结果，但论文给网络加了一个关键约束：优化后的图像必须能 “反推回原始测量信号”（即满足物理测量的可逆性）。

 

这个约束体现在两个方面（对应model_Unet_GIDC_wDGI.py和finetune.py）：

 

• 网络输出的物理一致性检查：在inference函数的 “measurement” 部分，网络输出的图像会被再次与图案（real_A）做卷积，得到 “预测的测量信号out_y”。这个out_y必须尽可能接近真实测量的y（对应finetune.py中的measure_loss，即信号误差）。
• 微调过程的物理引导：finetune.py的核心是通过最小化 “预测信号与真实信号的误差” 来优化网络，迫使网络在提升图像清晰度的同时，不能违背 “图像→信号” 的物理生成规律（比如不能为了让图像好看而编造不符合原始信号的细节）。

总结：物理与深度学习的 “分工合作”

• 物理方法：负责 “制定规则”—— 定义信号如何生成（测量过程）、提供符合物理的初始图像（DGI）、约束最终图像必须满足信号可逆性（测量一致性）。
• 深度学习：负责 “细节优化”—— 在物理规则的框架内，学习图像的细节特征（如边缘、纹理），把 DGI 的模糊结果变得清晰，但始终不能跳出物理规律的 “圈子”。