水下图像增强常用方法完全指南：从传统到深度学习

水下图像增强常用方法完全指南：从传统到深度学习

一、引言

水下图像在海洋勘探、水下机器人、海洋生物研究、水下考古等领域具有广泛的应用价值。然而，由于水下环境的复杂性，获取的图像通常存在以下问题：

  • 光吸收衰减：水对不同波长光的选择性吸收导致颜色失真。红光（波长最长）衰减最快，蓝绿光穿透力最强，因此水下图像往往偏蓝或偏绿。
  • 悬浮粒子散射：水中的悬浮颗粒（泥沙、浮游生物等）引起前向散射（模糊）和后向散射（雾状效果），导致图像对比度下降、细节丢失。
  • 人工光源不均匀：水下拍摄常依赖人工补光，容易产生不均匀光照、光斑等问题。

针对这些问题，研究人员提出了多种图像增强方法。本文系统梳理了水下图像增强的常用方法，分为传统方法和深度学习方法两大类。

二、传统方法

传统水下图像增强方法可以进一步分为两类：基于物理模型的方法和基于图像增强的方法。

2.1 基于物理模型的方法

这类方法通过建立水下成像的物理模型，逆向推导出清晰图像。核心模型是Jaffe-McGlamery模型，它将水下成像分解为三个分量：直接分量、前向散射分量和后向散射分量。

（1）暗通道先验（DCP, Dark Channel Prior）

  • 原理：由何恺明提出，统计发现户外无雾图像的暗通道（图像局部区域中RGB三通道的最小值）趋近于0。通过估计透射率和大气光来恢复清晰图像。
  • 水下应用：直接应用DCP去除水下雾状效果有一定效果，但未考虑水下颜色衰减的特性。
  • 局限性：水下场景中暗通道先验不一定成立（如白色沙滩、鱼群等大面积亮色区域），且无法校正颜色偏差。

（2）水下暗通道先验（UDCP, Underwater Dark Channel Prior）

  • 原理：改进DCP，只使用蓝绿两个通道计算暗通道（因为红光在水下衰减严重，不纳入计算），更适合水下环境。
  • 效果：在一定程度上改善了颜色失真问题。

（3）基于Jaffe-McGlamery模型的复原方法

  • 原理：利用散射系数、衰减系数等参数，建立精确的水下成像逆过程。
  • 代表工作：
    • 基于偏振成像的方法：利用不同偏振态图像分离后向散射分量。
    • 多尺度融合方法：对不同波长通道分别进行去散射处理。

（4）海洋光学模型方法

  • 代表：
    • Sea-thru（2019年，Akkaynak等）：建立包含距离信息的物理模型，对不同波长的衰减系数进行精确估计，是目前传统方法中效果较好的之一。

2.2 基于图像增强的方法

这类方法不依赖物理模型，直接通过图像处理技术改善视觉效果。

（1）直方图均衡化（HE, Histogram Equalization）

  • 原理：通过拉伸图像的灰度分布范围，提高全局对比度。
  • 水下应用：对单通道图像处理后可改善对比度，但容易过度增强噪声，且无法处理颜色偏移。
  • 变体：
    • 自适应直方图均衡化（AHE）：在局部区域进行均衡化，增强局部细节。
    • 限制对比度自适应直方图均衡化（CLAHE）：限制对比度放大幅度，避免噪声放大，是目前最常用的直方图方法之一。

（2）Retinex理论方法

  • 原理：假设图像由照射分量（光照）和反射分量（物体固有属性）组成，通过分离两者达到增强目的。
  • 代表方法：
    • 单尺度Retinex（SSR）：使用高斯滤波估计照射分量。
    • 多尺度Retinex（MSR）：融合多个尺度的结果，平衡细节与颜色。
    • 带颜色恢复的多尺度Retinex（MSRCR）：在MSR基础上加入颜色恢复因子，改善颜色失真。
  • 水下应用：可以有效提升对比度和细节可见性，但参数调优较为困难。

（3）伽马校正（Gamma Correction）

  • 原理：对图像像素值进行非线性变换 $I_{out} = I_{in}^\gamma$。
  • 水下应用：调整伽马值可以改善水下图像过暗或过亮的问题，但需要针对不同图像手动调整参数。

（4）融合增强方法

  • 代表方法：
    • Ancuti等人（2012）提出的多尺度融合方法：
      1. 对原始图像进行白平衡得到第一幅输入。
      2. 对原始图像进行对比度增强得到第二幅输入。
      3. 基于显著性、饱和度等特征图进行多尺度融合。
    • 该方法在2012年CVPR发表，成为水下图像增强领域的经典基准方法。

（5）颜色校正方法

  • 灰度世界假设（Gray World）：假设图像中RGB三通道的平均值相等，通过调整各通道增益校正色偏。
  • 白平衡方法：通过估计参考白点进行颜色校正。
  • 专门的水下颜色校正：如考虑不同深度下光谱衰减特性的颜色补偿方法。

三、深度学习方法

近年来，深度学习在水下图像增强领域取得了显著进展，成为主流研究方向。

3.1 基于CNN的方法

（1）Water-Net

  • 来源：Li等人，2019年
  • 原理：
    • 设计了一个多分支网络，分别对输入图像进行白平衡、直方图均衡化和伽马校正三种预处理。
    • 使用一个门控融合网络学习三个预处理结果的自适应融合权重。
    • 使用U-Net作为骨干网络进行特征提取。
  • 优势：融合了传统方法的先验知识，可解释性较好。
  • 数据集：在UIEB（Underwater Image Enhancement Benchmark） 数据集上训练和评估。

（2）UWCNN（Underwater Image Enhancement via CNN）

  • 来源：Li等人，2019年
  • 原理：
    • 基于不同类型的水体类型（如蓝色水、绿色水等）合成训练数据。
    • 训练一个轻量级CNN直接学习从退化图像到清晰图像的映射。
  • 特点：模型轻量、速度快，适合实时应用。

（3）Shallow-UWnet

  • 来源：Naik等人，2020年
  • 原理：使用较浅的网络结构（仅5层卷积），结合颜色补偿和去雾处理，在大幅提升速度的同时保持较好的增强效果。

（4）基于U-Net架构的方法

  • U-Net因其编码器-解码器结构和跳跃连接特性，非常适合图像到图像的翻译任务，被广泛应用于水下图像增强。
  • 代表工作：各种改进的U-Net变体（如加入注意力机制、残差模块等）。

3.2 基于GAN的方法

生成对抗网络（GAN）能够生成视觉质量更自然的图像，在水下图像增强中表现出色。

（1）UGAN（Underwater GAN）

  • 来源：Fabbri等人，2018年
  • 原理：
    • 使用CycleGAN架构，无需配对数据即可进行水下图像增强。
    • 引入SSIM损失和颜色损失，改善生成图像的感知质量和颜色真实性。

（2）FUnIE-GAN（Fast Underwater Image Enhancement GAN）

  • 来源：Islam等人，2019年
  • 原理：
    • 使用条件GAN（cGAN） 架构，输入水下退化图像，输出增强图像。
    • 生成器采用U-Net结构，判别器为PatchGAN。
    • 损失函数包括L1损失、感知损失和GAN损失。
  • 优势：网络轻量，推理速度快（可达实时），视觉效果自然。

（3）WaterGAN

  • 来源：Li等人，2017年
  • 原理：
    • 首先生成器从陆地图像合成水下图像（带深度信息）。
    • 然后增强器将合成的水下图像恢复为清晰图像。
    • 实现了端到端的训练范式。

（4）其他GAN变体

  • Pix2Pix系列：基于配对数据的图像翻译。
  • AttGAN：引入注意力机制，聚焦于退化严重的区域。
  • M UNIT：多模态无监督翻译，处理不同水体类型。

3.3 基于Transformer的方法

Transformer在计算机视觉中的应用（Vision Transformer, ViT）也推动了水下图像增强的发展。

（1）Uformer

  • 原理：将Transformer与U-Net架构结合，使用LeWin Transformer模块进行局部和全局特征建模。
  • 优势：能够捕获长距离依赖关系，处理大面积模糊和颜色失真效果更好。

（2）Restormer

  • 原理：高效的多尺度Transformer架构，通过深度可分离卷积和多头注意力机制实现高效计算。
  • 水下应用：在多种图像恢复任务（包括水下图像增强）中达到SOTA水平。

（3）SwinIR

  • 原理：基于Swin Transformer（移动窗口自注意力），结合浅层特征提取和深层特征重建。
  • 特点：计算效率高，适合高分辨率图像处理。

四、评价指标

水下图像增强的质量评估通常分为全参考指标和无参考指标。

4.1 全参考指标（需要清晰参考图像）

指标 全称 说明
PSNR 峰值信噪比 衡量像素级别的重建质量，值越高越好
SSIM 结构相似性 衡量亮度、对比度和结构三个维度的相似度，值越接近1越好
MSE 均方误差 像素误差的平方均值，值越小越好

4.2 无参考指标（无需参考图像，专门为水下图像设计）

指标 全称 说明
UCIQE 水下彩色图像质量评价 基于色度、饱和度和对比度的线性组合，值越高越好
UIQM 水下图像质量度量 综合色彩度、清晰度和对比度三个分量，值越高越好
PCQI 补丁对比度质量指数 评估局部对比度增强的质量
BRISQUE 无参考空间域图像质量评估 基于自然场景统计的通用图像质量评估

五、常用数据集

数据集名称 年份 图片数量 特点
UIEB 2019 950张（含890张参考图像） 最常用的水下图像增强基准数据集
EUVP 2020 8000+对 包含配对和非配对数据，多种水下场景
UWNet 2019 3000+ 不同水体类型（蓝水、绿水等）
RUIE 2019 4750张 包含不同退化类型（颜色失真、低对比度、雾状）

六、总结与展望

6.1 总结

水下图像增强方法可以分为：

类别 代表方法 优点 缺点
基于物理模型 DCP、UDCP、Sea-thru 有物理依据，泛化性较好 参数估计困难，计算复杂度高
基于图像增强 CLAHE、MSRCR、融合方法 实现简单，速度快，无需先验知识 可能过度增强，鲁棒性有限
基于CNN Water-Net、UWCNN、U-Net变体 效果优异，端到端训练 需要大量数据，泛化到未知水体类型有限
基于GAN FUnIE-GAN、UGAN 视觉质量自然，无需配对数据 训练不稳定，可能存在伪影
基于Transformer Uformer、Restormer 捕获全局依赖，SOTA性能 计算量大，模型较大

6.2 未来展望

  1. 多模态融合：结合声纳、偏振等传感器信息增强水下图像。
  2. 轻量化模型：面向水下机器人、ROV的实时处理需求。
  3. 无监督/自监督学习：减少对配对数据的依赖。
  4. 物理与数据融合：将物理模型作为网络先验或约束。
  5. 3D水下场景重建：从增强图像到三维重建的一体化处理。

参考文献

  1. He, K., Sun, J., & Tang, X. (2011). Single image haze removal using dark channel prior. IEEE TPAMI.
  2. Ancuti, C. et al. (2012). Enhancing underwater images and videos by fusion. CVPR.
  3. Li, C. et al. (2019). An underwater image enhancement benchmark dataset and beyond. IEEE TIP.
  4. Islam, M. J. et al. (2019). Fast underwater image enhancement for improved visual perception. IEEE RA-L.
  5. Akkaynak, D., & Treibitz, T. (2019). Sea-thru: A method for removing water from underwater images. CVPR.
  6. Zamir, S. W. et al. (2022). Restormer: Efficient transformer for high-resolution image restoration. CVPR.

本文由AI生成，旨在提供水下图像增强领域的系统性知识概览。如有不准确之处，欢迎指正交流！

posted @ 2026-06-15 15:29  永恒666  阅读(6)  评论(0)    收藏  举报