自动化视觉检测系统的实用化突破

使自动化视觉检测系统实用化

基于产品无关的公共数据集、模型选择指南和评估方法组成的基准框架，有助于弥合研究与实际应用之间的差距。

期刊：制造系统杂志

相关出版物：异常定位基准框架：实现自动化视觉检测的实际部署

技术背景

视觉产品检测在制造业、零售业等众多行业至关重要。发运损坏商品会侵蚀客户信任并产生退款或更换的额外成本。如今，自动化检测流程以提高吞吐量、降低成本和加速反馈循环的需求日益增长。

异常检测是预测产品是否偏离常态（表明可能存在缺陷）；异常定位则是更复杂的任务，需使用像素级异常分数来突出异常区域。尽管计算机视觉技术不断进步，但异常定位方法的研究与实际生产环境部署之间仍存在差距。现有模型大多关注产品特定缺陷，对处理不同产品的制造商用途有限。

基准框架

在监督学习下训练异常定位模型存在主要缺陷：与无缺陷产品图像相比，缺陷产品图像稀缺；且缺陷产品图像标注成本高昂。因此，该基准框架在训练阶段不需要任何异常图像。相反，模型从无缺陷样本中学习典型图像特征的分布。

在验证阶段，仅需少量异常图像即可确定正常像素与异常像素在异常分数分布上的分界点。在推理时，训练后的模型生成异常分数图以突出每个输入图像中的异常，随后使用最优像素强度阈值计算分割图，屏蔽非异常像素。

该框架包含三个主要构建块：

1. 产品无关数据集
2. 模型集合
3. 评估方法集合

根据生成异常分数图的方式，建模方法分为四类：

• 重建法
• 归因图法
• 块相似性法
• 标准化流法

框架包含每类方法的先进代表模型。

实际应用评估

对于实际使用，异常定位应遵循双重评估程序：验证指标不需要阈值，但推理指标需要。重点强调阈值值的有效确定，弥补了以往研究的空白。不同指标在不同实际用例中各有优势：该基准提供推理（阈值依赖）指标的详细分析，比较四种建模方法与五种不同阈值估计技术。

产品无关数据集构建

为创建产品无关数据集，根据更高级别、更通用的类别对现有两个数据集（MVTec和BTAD）中的异常图像重新分类。两个数据集中的异常图像均包含像素级精确的异常分割图，突出缺陷并屏蔽无缺陷区域。

首先根据是否存在背景对产品图像分类：

• 有背景图像：产品（如瓶子或榛子）置于背景前
• 无背景图像：产品特写（如地毯编织或木材纹理）占据图像所有像素

缺陷类型	描述	示例
结构缺陷	物体部分扭曲或缺失，或产品结构严重损坏	孔洞、弯曲、缺失部件等
表面缺陷	主要限于产品表面较小区域，需要相对较少维修	划痕、凹痕、铁锈等
污染缺陷	表明存在外来物质的缺陷	胶水滑移、灰尘、污垢等
复合缺陷	结合以上任何类型的缺陷，在真实分割图中具有多个连接组件	污染背景中的孔洞

标注由标注团队使用定制用户界面完成。标注人员通过将每个异常图像与无缺陷产品图像进行比较，参考相应的真实分割图进行适当的缺陷分类。这些产品无关标签已在论文补充材料中提供，研究人员可使用这些标签进行新实验并开发产品无关基准。

新产品基准测试实践

该基准框架为建模方法选择、阈值估计方法和评估过程提供了宝贵见解和指导。对于引入新产品的制造商，建议使用基于块相似性的块分布模型（PaDiM）作为高效起点，并通过IoU（交并比）曲线估计阈值。如果表面缺陷更可能出现，基于标准化流的条件标准化流（CFLOW）模型可能比PaDiM更优选。

在强调验证指标局限性的同时，强调IoU是估计分割性能更可靠的推理指标。

以MVTec数据集中的瓶子产品为例说明流程：

1. 按产品无关分类标注异常图像：41张结构缺陷，21张污染缺陷，1张复合缺陷
2. 根据缺陷比例选择PaDiM作为建模方法
3. 通过IoU曲线确定最优阈值
4. 在正常图像上训练PaDiM
5. 使用验证集估计阈值
6. 为测试集图像生成分割图
7. 视觉确认缺陷区域以进行领域理解

该基准已发布，希望其他研究人员能在此基础上扩展，帮助弥合异常定位研究进展与实际应用挑战之间的差距。

研究领域：计算机视觉

标签：自动化视觉检测、异常检测、数据集开发

关于作者：Tryambak Gangopadhyay是某机构Web服务部门的应用科学家
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码