结合实际问题-工业缺陷检测领域

技术要求：cv领域模型

  • 辨别式模型：

    • 图像分类：VGG，GoogLeNet，ResNet
    • 目标检测：以 Faster R-CNN为代表的两阶段网络和以 YOLO系列为代表的一阶段网络
    • 分割：
      • 语义分割：FCN，U-Net，Seg-Net，DeepLab
        • 加位置信息（膨胀卷积(32->8)或者U型网或者边界辅助）
      • 实例分割：Mask R-CNN，PANet和 SOLO
      • 全景分割：Panoptic FPN

  • 生成式模型：AE，VAE，GAN

  • 剖析模型的技术：grad-CAM、轻量级网络部件、知识蒸馏

针对工业缺陷检测领域，魔改模型

工业缺陷检测（表面缺陷检测）

领域特点

  • 工业产品缺陷图像特点-细微和多样性；正常样本多缺陷样本少；实时性

数据集：

elpv-dataset: https://github.com/zae-bayern/elpv-dataset.
NEU-CLS: http://faculty.neu.edu.cn/yunhyan/NEU surface defect database.html.
TianChi Fabric: https://tianchi.aliyun.com/competition/entrance/231666/information.
TianChi AP: https://tianchi.aliyun.com/competition/entrance/231682/information.
NEU-DET: http://faculty.neu.edu.cn/yunhyan/NEU surface defect database.html.
GDXray Casting: https://domingomery.ing.puc.cl/material/gdxray/.
DeepPCB: https://github.com/Charmve/Surface-Defect-Detection/tree/master/DeepPCB.
Magnetic Tile: https://github.com/abin24/Magnetic-tile-defect-datasets.
KolektorSDD: https://www.vicos.si/resources/kolektorsdd/.
RSDDs: http://icn.bjtu.edu.cn/Visint/resources/RSDDs.aspx.
CrackForest: https://github.com/cuilimeng/CrackForest-dataset.
MVTec AD: http://www.mvtec.com/company/research/datasets.
AITEX: https://www.aitex.es/afid/.
BTAD: http://avires.dimi.uniud.it/papers/btad/btad.zip.
NanoTWICE: http://www.mi.imati.cnr.it/ettore/NanoTWICE/.
DAGM: https://hci.iwr.uni-heidelberg.de/node/3616.

损失函数：

BCE Loss（二元交叉熵损失）
优点：像素级损失。能够很好地度量概率预测的准确性，当预测概率接近真实标签值时，损失越小。
缺点：在处理类别不平衡问题时，BCE Loss可能导致模型偏向于多数类别，忽略少数类别。对于小目标或稀疏目标，BCE Loss无法捕捉目标特征，导致性能下降。

Dice Loss
优点：区域级损失。2分类的F1losss。Dice Loss取决于区域像素的标签和预测。
缺点：在处理小目标时，Dice Loss可能导致训练不稳定，因为小目标一旦有部分像素预测错误，可能会导致损失值剧烈变化，需要和BCE或FocalLoss一起使用。

Focal loss
特点：对BCE的改进，增加了对小目标区域的预测得分。

IoU Loss（交并比损失）
优点：不用于图像分割，适用于目标检测任务。IoU Loss能够较好地反映预测框与真实框的重叠程度。对于边界框的回归任务，IoU Loss能够屏蔽边界框大小的干扰，使得模型在处理大物体和小物体时更加平衡。
缺点：当预测框与真实框没有交集时，IoU=0，损失函数无法提供有效的梯度信息，导致无法进行学习。

检测指标

  • 分类：准确率(accuracy)、精确率 (precision) 、召回率 (recall)和F1 值 (F1-measure) ；误检率 (false drop rate, FPR) 与漏检率 (false negatives rate, FNR)；设置一系列阈值, 评价两个指标在不同阈值下的关系变化曲线，看曲线下面积。

    • miou：区域级指标。平均交并比。二分类或多分类。对每个类别得到交并比，取所有类别的平均值。

二分类：
MAE：像素级指标。每个像素的差值的平均。

MSE：像素级指标。每个像素的差值的平方的平均。

WFm：区域级指标。对准确率和召回率的加权。

Sm：主要用于显著性目标检测，评估分割结果的整体结构相似性。

Em：主要用于显著性目标检测，评估分割结果的局部结构相似性。

SSIM：评估两幅图像在亮度、对比度和结构三个方面的相似性。

  • 分割：交并比 (intersection of union, IoU)；IoU 曲线和 PRO 曲线

有标注数据（判别式模型）

  • FCN+其主要采用深度可分离卷积等网络结构优化的方法减少模型的计算复杂度
  • ,Xie 等 同时考虑了空间域与频域的信息. 其在主干分割网络的基础上, 使用一个 Secondary分支, 基于离散小波变换提取图像的频域特征, 与主干网络的多尺度特征进行融合
  • Valente 等 [42] 基于印刷品缺陷的分布先验合成数据, 用于训练分割网络. Zhang 等 [43] 基于生成对抗网络合成足够拟真而多样的缺陷数据来扩充训练集
  • etc...

无标注数据（生成式模型。重建正常图像看重建前后差异）

  • AE 在重建时存在模糊的现象, 因而在计算重建误差时, 容易造成正常像素点的误检. 对此, 一种思路是提升重建图像的质量. MS-FCAE [72] 和 DFR [73] 针对多尺度特征信息进行了相关设计, 为图像的重建提供了不同粒度的上下文信息, 使得重建图像更加准确清晰
  • 像素层面的比较容易受到噪声干扰, 导致检测的鲁棒性不佳. 对此, 研究人员将目光投向特征空间, 通过比较高维特征以实现更加鲁棒的检测。Yi 等 [121] 提出了 Patch SVDD 的方法, 解决了 Deep SVDD 只能判断图像是否为异常, 但是不能对异常区域定位的问题. 由于不同图像块 (patch) 的特征可能有明显差别,即使正常样本的 patch 在特征空间中距离也可能非常远, 所以此方法用聚类的方式在训练时自动生成多个特征中心, 达到了图片异常检出和定位的效果.

少量缺陷标注（判别式模型。小样本【数据扩增和微调】，半监督【CAM热力图】，弱监督【CAM热力图】，自监督【转为有监督】）

  • Tao 等 [141] 利用仿射变换、高斯模糊以及添加椒盐噪声等方法进行缺陷样本的生成; 面向织物表面数据, Yang 等[112] 通过生成随机掩模与正常样本叠加模拟真实缺陷模式进行缺陷样本的扩充; 面向多类别工业产品数据, Lin 等 [142] 从缺陷样本中裁剪出缺陷部位与随机正常样本进行组合叠加进行缺陷数据的扩增

  • Gong 等 [143] 将预训练好的 DCNN 网络迁移到宇航材料表面缺陷的检测;Imoto 等 [144] 使用在海量弱监督数据上预训练的 CNN 网络, 将其迁移到半导体数据上进行微调, 完成了半导体材料缺陷检测的任务

  • CAM-UNet [153] 利用 U-Net 进行缺陷的分割. 该方法在第一阶段训练编码器令其可以进行图像级别的分类, 编码器训练完成后, 根据分类结果利用 CAM [11] 得到缺陷的粗定位.第二阶段训练两个解码器, 首先将激活图作为先验知识与编码器提取的特征图融合, 引导解码器 0 实现精细的分割, 然后将此分割结果下采样, 再度与上述特征图融合, 输入解码器 1 进一步地细化分割

  • Mayr 等 [156] 基于 Resnet50 的骨干网络设计二分类网络, 基于 CAM 的思想, 利用分类结果生成缺陷的激活图, 从而得到分割结果.

  • Li 等 [45] 将正常图像的其他区域随机裁切并粘贴到正常样本中, 得到异常样本与像素级标注, 从而利用其在分类任务上对模型进行表征学习

实时性（轻量级网络部件和知识蒸馏）：

  • Andrew 等 [167] 利用深度可分离卷积替代了传统的卷积操作, 显著降低了模型的计算复杂度; Christian 等 [168] 使用了多个小卷积核的堆叠替代了大卷积核, 可以在不损失精度的条件下减少网络的计算复杂度. Max 等 [169] 采用低秩分解来减少模型的计算复杂度. 基于卷积核的低秩性, 将原来大矩阵分解成多个小的矩阵
  • Bergmann 等[137] 利用知识蒸馏的方式将大而深的网络的知识迁移到轻量网络上以提升推理速度.

综述神作，结构神中神：

李亚森,李晔,李赵辉.基于深度学习的焊缝缺陷检测方法综述[J].焊接技术,2024,53(4):6-13
焊缝缺陷检测（
焊缝图像分类【各学者对VGG，GoogLeNet，ResNet的魔改】，
焊缝缺陷目标检测【各学者对Faster R-CNN和 YOLO系列 魔改】，
焊缝缺陷分割【各学者对FCN，U-Net，Seg-Net，DeepLab的魔改】
）
posted @ 2025-04-06 20:53  zhuangzhongxu  阅读(123)  评论(0)    收藏  举报