论文阅读 | OCTUF

OCTUF

CUHK CVPR’23

Proposed Method

Overall Arch

近端梯度下降 (proximal gradient descent, PGD) 用于求解线性反问题的常用方法。该方法带有 惯性项 (inertial term) 更易收敛到最优。

OCTUF 更新步骤如下。

\[s^{(k)} = x^{(k-1)} - \rho^{(k)} \Phi^\top (\Phi x^{(k-1)} - y) + \alpha^{(k)} (x^{(k-1)} - x^{(k-2)}) \tag{1} \]

可以看到这个迭代公式 (projection step) 相较于 ISTA-Net / AMP-Net 等，除梯度项之外还多了一个惯性项。可能不会对性能产生很大影响，但会加快收敛速度。

“As mentioned previously, such traditional implementation lacks adaptability and has information loss due to image-level inter-stage transmission.”

传统优化算法仍然缺乏自适应性，且存在信息损失。因此，OCTUF 引入 双重交叉注意力 (Dual Cross Attention, Dual-CA) 以增强 “feature-level transmission”.

关于 Ep. (4) 讨论 PGD 中 \(x^{(k)}\) 的迭代更新过程。优化问题形式仍然不变，但给出了一些解释。这一步是通过一个 近端映射 实现，与 ISTA-Net 解释一致。该步骤实际上是一个高斯去噪器 (?) 与大多数 DUN 一样，使用网络来实现之。

(待续)