光学神经网络

📘 全光学神经网络（All-Optical Neural Networks, AONN）学习清单

——论文 + 源码 + 学习顺序推荐（适合从你当前AFNN水平向更高层深入）

🥇 阶段 1：入门与经典模型（了解光学实现神经网络的原理）

1️⃣ 《All-Optical Machine Learning Using Diffractive Deep Neural Networks》（Science, 2018）

📎 原论文链接（UCLA Ozcan Lab）
📦 GitHub 源码：Diffractive-Deep-Neural-Network
📘 简介

  • 史上首个“可训练的全光学神经网络”

  • 利用 5 层衍射层（Diffractive Layers）替代电子网络的加权连接

  • 完全在光学域执行矩阵乘法

  • 实现 MNIST 分类（0~9）
    💡 启发：你现在的 AFNN（Fourier 网络）就是它的频域形式

🧩 学习重点

  • 理解光传播方程如何等价于矩阵乘法

  • 训练在电子侧进行，相位图加载在 SLM 上

  • 非线性来自探测器（|E|²）

  • 对应代码结构和你 afnn-mnist_corr4f.py 几乎相同

2️⃣ 《Diffractive Deep Neural Networks at Visible Wavelengths》（Nat. Commun., 2020）

📎 原文（Nature Communications）
📦 GitHub: ONNet
📘 简介

  • 把 D²NN 从红外扩展到可见光

  • 研究波长、分辨率、衍射层数对性能的影响

  • 兼容 PyTorch 的可微分光学仿真框架（ONNet）
    💡 启发：可帮你理解为什么 N、K、δ 参数与分辨率有关

🧩 学习重点

  • 学习如何在 PyTorch 中定义可训练衍射层

  • 观察他们如何在每层加相位噪声并保持鲁棒性

🥈 阶段 2：鲁棒性与工程实现（接近你现在的AFNN）

3️⃣ 《Misalignment-Resilient Diffractive Optical Networks》（Nat. Mach. Intell., 2020）

📎 arXiv 链接
📦 GitHub: fancompute/neuroptica
📘 简介

  • 针对制造和装配误差，提出“Vaccinated D²NN”训练方法

  • 在训练阶段注入位移/旋转扰动

  • 验证网络在“非理想光路”下仍然可用
    💡 启发：和你论文中的“部分相干光”理念一样，都是在训练阶段注入物理噪声来提高鲁棒性

🧩 学习重点

  • 如何在光学神经网络中建模实际物理误差

  • 为什么“数据增强”在光学域表现为“相干度调节”

4️⃣ 《All-Optical Graph Representation Learning Using Integrated Diffractive Photonic Computing Units》（Optica, 2022）

📎 arXiv
📘 简介

  • 首次尝试让光学网络学习“图结构数据”

  • 提出光学 GNN（Graph Neural Network）
    💡 启发：证明光学网络不仅能分类图像，还能处理图结构/关系型数据

🧩 学习重点

  • 光学系统如何表示图邻接矩阵

  • 如何将傅里叶层扩展为“光学卷积核”

🥉 阶段 3：扩展与混合结构（CNN、Transformer、Mamba方向）

5️⃣ 《Diffractive Optical Neural Networks Beyond Classification: Optical CNNs》（Photonics Research, 2022）

📎 Paper
📘 简介

  • 提出可实现“卷积层”的全光学CNN

  • 在频域上利用多透镜系统实现可学习的滤波核
    💡 启发：如果你想继续研究“光学CNN”，这篇是理想起点

6️⃣ 《Optical Transformer: Fourier Optical Attention Network》（arXiv, 2023）

📎 Paper Link
📘 简介

  • 将 Transformer 的自注意力机制映射到光学域

  • 利用 4f 系统实现 Query–Key 乘积（相关计算）

  • 光强检测实现 Softmax-like 归一
    💡 启发：这篇就是“光学版 Transformer”，拓展性极高

7️⃣ 《Photonic State-Space Models for Optical Sequence Learning》（arXiv, 2024）

📎 Paper Link
📘 简介

  • 把「状态空间模型（Mamba）」投影到光波导阵列

  • 光场传播=状态转移，延迟线=记忆单元
    💡 启发：说明 Mamba 这类“线性状态空间模型”理论上可以光学实现

🔧 工具与代码库推荐

名称链接用途
neuroptica github.com/fancompute/neuroptica Python光学神经网络仿真工具
DeepLens github.com/singer-yang/DeepLens 可微分光学仿真框架
ONNet github.com/closest-git/ONNet 全光D²NN实现，PyTorch兼容
awesome-deep-optics github.com/singer-yang/awesome-deep-optics 收录所有主流光学深度学习论文、代码汇总

📈 推荐学习路线（从你现在的位置出发）

阶段目标建议
🧩 入门 理解光学神经网络与全连接层的等价关系 复现 D²NN 2018
⚙️ 提升 掌握噪声鲁棒性和可训练光学层 学 Misalignment-Resilient D²NN
🌈 拓展 探索光学卷积 / 光学 Transformer 读 Optical CNN / Optical Transformer
🔮 创新 探索光学状态网络 / 光学Mamba 阅读 Photonic SSM 论文

🎯 建议你亲手实践的三个方向

  1. 在你现有 AFNN 上堆叠两层相位面（模拟多层D²NN）

  2. 实现“光学卷积核”（将 ROI 换成局部卷积）

  3. 加入时间延迟环路（模拟 Mamba 的状态传播）

posted @ 2025-11-10 23:09  伟大的船长  阅读(0)  评论(0)    收藏  举报