工业相机(CCD/COMS机器视觉)检测透明物体(玻璃、PET、PS、PP), 如何选型?

参考链接:

机器视觉——(一,光源) - 唯有自己强大 - 博客园 (cnblogs.com)
机器视觉——(二,相机) - 唯有自己强大 - 博客园 (cnblogs.com)
机器视觉——(三,镜头) - 唯有自己强大 - 博客园 (cnblogs.com)
机器视觉——(四,算法) - 唯有自己强大 - 博客园 (cnblogs.com)

引言

在生物医学中样本质量预检,经常使用 工业相机(CCD/CMOS图像传感器) 对透明容器中样本,进行 凝块气泡挂液液滴残留检测,以及显微镜检(形态学检测)。

‌1. 光源:采用‌环形LED背光‌增强气泡与液面轮廓,或‌同轴光‌减少玻璃反光。
  300W LED冷光源、色温6000K,接近自然光;灯泡寿命≥30000小时,具备寿命预警、自动调光及待机功能

2. 光学镜头-对焦精度‌:自动显微对焦系统,三晶片、2倍光学变焦、焦距15-31mm, 采用 ‌0.1μm 步进精度‌ 的步进电机,确保对焦精准;
  远心镜头可消除透视误差,适合精确测量(如血清体积)‌。如,基恩士 VS-L1500CX

3. 摄像机(相机)高分辨率‌:配备CCD逐行扫描、宽高比16:9、分辨率1920*1080 = ‌2100万像素高清摄像头‌(部分资料提及为“4/3大靶面相机”),支持高分辨率图像采集;
  选用‌高分辨率CCD或CMOS工业相机‌(如Basler ace 2),支持高速帧率(≥30fps)以捕捉动态气泡。

4. 拍摄方式‌:每个样本同步拍摄 ‌20张静态照片‌ 和 ‌20个视频‌,覆盖制片横向区域 >45%,兼顾静态形态与动态观察(如滴虫运动)‌。
  成像优化/图像算法‌:通过碱性染色技术增强细胞与病原体对比度,提升识别

‌5. 算法核心‌:(关键检测目标与方法)‌

凝块/纤维丝:‌UNeXt类深度学习模型‌
利用‌AI深度学习算法‌(如UNeXt网络架构)对离心血样(血清)图像进行分割与特征提取,可实现‌97%以上的识别符合率‌。该技术已在三甲医院流式细胞仪上样管检测中应用;
安图生物 Autolas X-1 流水线,自动对焦与形态学智能AI判读,实现血清凝块与纤维丝检测。

气泡:‌异构双分支神经网络‌(如千眼狼系统)‌
传统方法易受气泡-背景灰度接近、微小气泡信噪比低等问题干扰;‌高速视觉系统+异构双分支神经网络‌可分别捕捉微小气泡边缘(高分辨率分支)与流场上下文(上下文分支),显著提升检测稳定性 ‌。

‌挂液与液滴残留:‌自下而上梯度搜索法‌结合外部参照 ‌
通过‌液面灰度梯度分析‌或‌外部参照物折射成像特征‌,自下而上搜索液面位置,结合容器内壁图像分析,可识别残留液膜或液滴。

液面高度(液位)与体积‌
尺寸测量与定位,基于‌液面边缘特征或参照物折射分离带‌,可实现非接触式液面定位,适用于定量上样场景。

‌6. 系统集成‌:可参考‌ROS框架‌实现多传感器数据融合与实时响应 ‌
如需具体设备选型或算法开源实现,可进一步提供应用场景参数(如容器材质、样本类型、检测速度要求等)。

一、硬件设备选型 

参考:https://cloud.tencent.com/developer/article/1888775

相机和镜头的选型必须互相搭配,顺序通常是:先确定检测需求 → 计算视野 → 选相机分辨率 → 再选镜头焦距接口

(一)明确检测需求(最关键)

选型前必须先确定 5 个核心参数:

参数

含义

举例

FOV (Field of view,视野)

相机一次能看到的范围

120mm × 80mm

检测精度

最小需要识别尺寸

0.05 mm

WD(Working Distance,工作距离)

镜头到工件距离

200 mm

被测物运动速度

是否需要高速拍照

1 m/s

环境条件

光照、空间、振动

有油污 / 空间小

这些参数决定:① 相机 分辨率  ② 相机 帧率  ③ 镜头 焦距  ④ 镜头 类型

(二)确定相机分辨率

工业视觉有一个经验公式,分辨率计算公式

image

一般工业检测要求: 1 个缺陷至少占 3~5 个像素,举例如下:
检测需求: ① 视野: 100 mm ② 最小缺陷: 0.05 mm
每个缺陷按 5 个像素计算,需要:

image

 相机分辨率:

image

所以需要: 10000 px
  即: 10000 × 10000 ≈ 100MP
如果要求降低: 3 像素

image

 需要: 6K 相机

(三)选择相机类型

工业相机一般有以下几类

类型

特点

场景

面阵相机

一次拍整张图

最常见

线阵相机

一行一行扫描

高速检测

彩色相机

RGB 信息

外观检测

黑白相机

灵敏度高

尺寸检测

常见工业相机接口:

接口

带宽

适用

USB3.0

5Gbps

中低速

GigE

1 Gbp s

远距离

10GigE

10Gbps

高分辨

CameraLink

很高

高速

CoaXPress

超高速

线阵

工业设备最常用:GigE / USB3

image  

(四)确定相机传感器尺寸

相机传感器尺寸影响镜头。

常见尺寸:

传感器

尺寸

1/3"

1 /2"

常 见

2/3"

工业常用

1"

高端

1 .1"

高分辨

例如:

分辨率

常见 sensor

2MP

1/2"

5MP

2/3"

12MP

1.1"

(五)第五步:计算镜头焦距

镜头焦距公式:

image

 参数: 

参数

含义

f

镜头焦距

WD

工作距离

SensorSize

传感器尺寸

FOV

视野

image

焦距(f)= 工作距离(WD)* CCD靶面型号尺寸(V或者H)/ 视场大小或者物体高度(FOV)

附:常见工业相机传感器尺寸大小(H水平×V竖直)

同样我们可以逆推视野(FOV) ,如下:

image

视野/视场(FOV) = 工作距离(WD) * CCD靶面型号尺寸(V或H)  /  焦距(f)

 

举例

需求:
视野: 200 mm
工作距离: 400 mm
传感器: 1/2" , 1/2" 工业相机传感器的宽度为 6.4mm ,它的完整尺寸参数为宽 6.4mm 、高 4.8mm ,对角线长度 8mm ,长宽比为 4:3 。
传感器宽: 6.4 mm
公式:

image

选: 12 mm 镜头

(六)镜头接口选型

工业镜头接口:

接口

特点

C-Mount

最常见

CS-Mount

小相机

F-Mount

大 sensor

M42

高端

90% 工业视觉: C-Mount

(七)镜头分辨率匹配

镜头分辨率必须 ≥ 相机分辨率
例如:

相机

推荐镜头

2MP

普通镜头

5MP

5MP 镜头

12MP

高解析镜头

否则:镜头像差会降低成像质量

(八)镜头类型选择

不同检测任务镜头不同:

镜头类型

用途

定焦镜头

最常见

远心镜头

精密测量

变焦镜头

实验

微距镜头

小物体

鱼眼镜头

大视角

精密检测必须用远心镜头

优点:

  • ① 无透视误差
  • ② 尺寸稳定

缺点:很贵

(九)工业视觉完整选型案例

需求:
检测 PCB 元件

参数:

参数

数值

视野

120mm

最小缺陷

0.03mm

WD

250mm

① 计算分辨率

image

需要: 12K
选: 12MP 相机

② 选择 sensor

12MP  常见: 1.1"

③ 计算焦距

sensor width : 14 mm

image

选: 25mm 或 35mm

④ 最终方案

相机: 12MP GigE
镜头: C-mount 25mm   
靶面尺寸: 1.1"

(十)工业视觉选型经验口诀

机器视觉工程师基本都记这个:

  • 先算像素 → 再算视野 → 再算焦距 → 最后选镜头
  • 或者:精度决定相机,相机决定镜头

(十一)工程师常犯的 3 个错误

错误 1:先买相机,再买镜头
结果:视野不够

错误 2:镜头不匹配 sensor
结果:画面四角发黑

错误 3:忽略光源,机器视觉中光源比相机更重要

(十二)给你一套工业设备通用方案(很实用)

如果你做自动化设备,常用组合是:

类型

推荐

相机

5MP

Sensor

2/3"

镜头

16mm

接口

GigE

品牌

海康 / Basler

适用: 80% 工业检测

 

工程师的几点体会:https://www.do3think.com/encyclopedia/891 

     
1

光源

普通正面光去打,结果照片上除了刺眼的反光,啥缺陷都看不清。才知道检测透明物体,光源的选择那简直是重中之重。什么背光同轴光低角度光碗状光,各种奇奇怪怪的光源都得了解。
2

镜头

  • 1-焦距焦距(f)
  • 2-景深(Depth of view,DOF)
  • 3-畸变
    4-视场(Field of view,FOV)也叫视野范围
    5-工作距离(Working Distance,WD)
3

相机

也不是说像素越高就越关键是看你要检测 缺陷的大小,还有你的视野范围

  • 1-分辨率
  • 2-传感器尺寸和类型
  • 3-帧率
4

运动系统

 

先明确检测需求:到底要看啥缺陷? 缺陷多大? 在什么位置? 这个是最最基础的,决定了你后续所有选择的方向。
光源是灵魂:特别是对玻璃这种透明反光的东西,光源选不对,再好的相机也白搭。多准备几种光源去现场实际测试,比你看再多资料都管用。
相机和镜头要匹配:分辨率视野工作距离景深,这些参数都要综合考虑,互相匹配。
别怕麻烦,多测试:理论学得再不如实际搭个环境测一下。很多问题只有在实际测试中才会暴露出来。
考虑后续图像处理:你相机拍出来的图像,最终是要给软件去分析的。图像的 对比度、清晰度 这些,都要尽可能地减轻后续软件处理的压力。

反正,度申工程师就是这么一步步摸索过来的。刚开始觉得这玩意儿玄乎得很,各种参数搞得人晕头转向。但实际动手搞多了,踩过一些坑,也就慢慢有感觉了。希望度申工程师这点经验,能给后来人提个醒儿,少走点弯路。

二、CCD视觉检测设备:从图像采集到结果判断的全过程

 按照 “从图像采集图像处理结果判断执行输出” 的顺序,把CCD视觉检测设备的一次完整检测流程拆解给您。阅读完即可知道设备在每个阶段具体在做什么、核心注意点在哪里,以及现场工程师如何调参与维护。

完整的机器视觉系统由三大功能层构成:https://blog.csdn.net/weixin_35294091/article/details/152448955

层级   核心功能 典型组件
图像采集层 获取高质量原始图像 工业相机、镜头、光源、采集卡
处理分析层 执行预处理、特征提取与识别 CPU/GPU、算法库(如OpenCV、Halcon)
决策控制层  输出结果并联动控制系统  PLC、SCADA、MES、报警/执行机构
 

(一)图像采集(Image Acquisition)

1.1 光学成像

• CCD 传感器(面阵或线阵)把被测物反射/透射的光信号转换成电荷包 → 移位寄存器 → 电压信号 → A/D → 数字图像。
• 关键指标:分辨率(像元数)、像素尺寸、量子效率、读出噪声、帧率/线频。

1.2 照明系统

• 环形LED、条形光、同轴光、背光、结构光等,根据缺陷类型(划痕、污渍、尺寸、字符)选择角度和颜色。
• 均匀度 > 90%,照度波动 <±3%,亮度可调;频闪控制与相机外触发同步,避免运动拖影。

1.3 触发与同步

• 旋转编码器、光电开关或PLC给出 “拍照位置” 信号 → 相机硬触发 → 光源频闪 → CCD 曝光 → 图像DMA 到 工控机RAM。
• 抖动 < 1 mm 时,采用行触发或飞拍算法;抖动 > 1 mm 时,停拍或使用高速相机。

(二)图像预处理(Pre-Processing)

2.1 基本校正

• 平场校正(Flat-field):去掉像素响应不一致和镜头暗角。
• 标定:用玻璃标定板或陶瓷标定块获得像素-物理尺寸映射(mm/px)和畸变矩阵。

2.2 图像增强

• 高斯滤波、中值滤波器去噪;CLAHE 提高对比度缺陷可视性;彩色转灰度或分离RGB通道

(三)特征提取(Feature Extraction)

3.1 几何特征

• 边缘检测(Canny、Sobel)→ 亚像素边缘定位 → 直线/圆/椭圆拟合/轮廓 → 长度、直径、角度、形状、轮廓度。
• Blob 分析:二值化(Otsu、自适应阈值)→ 连通域/局部域标记 → 面积、周长、质心、长宽比、形状/矩形度。

3.2 表面缺陷

• 纹理滤波(Gabor、Laws)、频域滤波(FFT、小波)→ 提取划痕、异物、脏污。
• AI 检测:CNN 分割缺陷区域 → 输出缺陷掩膜及置信度。

3.3 字符/条码

• OCR:二值化 + 形态学 → Tesseract/自研 CNN → 字符串比对。
• 条码/二维码:定位图案 → 采样网格 → Reed-Solomon 解码 → 数据比对。

 

(四)结果判定(决策Decision)

4.1 规则逻辑

•公差窗口:尺寸L∈[Lmin, Lmax];面积 A<Amax;缺陷宽度w<wmax。

• 布尔逻辑:IF (缺陷 OR 尺寸超差 OR OCR 错误) THEN NG ELSE OK。

4.2 AI 逻辑

• 分类网络 Softmax → 置信阈值 0.85;

• 分割网络 → 缺陷像素占比>0.5 % → NG;

• 多模型融合:逻辑规则+AI 概率加权投票。

4.3 数据记录

• 保存原图、缺陷图、判定结果、时间、机种号;SQLite/MySQL;可延长6个月。

(五)执行输出(Action)

• IO卡或PLC通讯:OK/NG信号+缺陷类别码;

• NG时触发气动吹气、机械分选臂、激光打标“废品”码;

• 统计废看板:良率、CPK、缺陷帕累托 Pareto;停机/换线提示。

现场调试与维护要点

  • 曝光:均均值120-180(8 bit),避免饱和;
  • 对焦:MTF>0.3@奈奎斯特频率;
  • 标定:每月一次,温差 > 10℃或换型后重标;
  • 清洁:镜头、光源出光面、保护玻璃4 h/次;
  • 算法迭代 :采集现场1000张NG样品,离线训练后OTA更新模型;
  • 备份:整机参数、标定文件、模型权重双盘备份。

 

视觉检测设备完成一次检测的闭环就是:“光学成像→数字图像→ 预处理(去除)→ 特征提取 → 规则/AI判断 → 控制执行 → 数据检索(追溯)”。

只需光源、镜头、CCD、触发同步、算法、执行机构六个都很好,就能在数十级(微秒)节拍内给出稳定、可回顾的检测结果。

三、算法与实现

(一)算法(预处理算法、检测算法)

在采集完图像后,首先会对图像进行预处理操作。保证图像的对比度清晰,水平。方便后续图像处理。

常用的图像处理算法:

1,图像变换: (空域与频域、几何变换、色度变换、尺度变换)

几何变换:图像平移、旋转、镜像、转置;
尺度变换:图像缩放、插值算法(最近邻插值、线性插值、双三次插值);
空间域与频域间变换:由于图像阵列很大,直接在空间域中进行处理,涉及计算量很大。因此,有时候需要将空间域变换到频域进行处理。
例如:傅立叶变换、沃尔什变换、离散余弦变换等间接处理技术,将空间域的处理转换为频域处理,不仅可减少计算量,而且可获得更有效的处理(如傅立叶变换可在频域中进行数字滤波处理)。

2、图像增强:

图像增强不考虑图像降质的原因,突出图像中所感兴趣的部分。如强化图像高频分量,可使图像中物体轮廓清晰,细节明显;如强化低频分量可减少图像中噪声影响。

灰度变换增强(线性灰度变换、分段线性灰度变换、非线性灰度变换);
直方图增强(直方图统计、直方图均衡化);
图像平滑/降噪(邻域平均法、加权平均法、中值滤波、非线性均值滤波、高斯滤波、双边滤波);
图像(边缘)锐化:梯度锐化,Roberts算子、Laplace算子、Sobel算子等;

3、纹理分析(取骨架、连通性);

4、图像分割:

  图像分割是将图像中有意义的特征部分提取出来,其有意义的特征有图像中的边缘、区域等,这是进一步进行图像识别、分析和理解的基础。

  • (1)阈值分割(固定阈值分割、最优/OTSU阈值分割、自适应阈值分割);
  • (2)基于边界分割(Canny边缘检测、轮廓提取、边界跟踪);
  • (3)Hough变换(直线检测、圆检测);
  • (4)基于区域分割(区域生长、区域归并与分裂、聚类分割);
  • (5)色彩分割;
  • (6)分水岭分割;

5、图像特征:

  • (1)几何特征(位置与方向、周长、面积、长轴与短轴、距离(欧式距离、街区距离、棋盘距离));
  • (2)形状特征(几何形态分析(Blob分析):矩形度、圆形度、不变矩、偏心率、多边形描述、曲线描述);
  • (3)幅值特征(矩、投影);
  • (4)直方图特征(统计特征):均值、方差、能量、熵、L1范数、L2范数等;直方图特征方法计算简单、具有平移和旋转不变性、对颜色像素的精确空间分布不敏感等,在表面检测、缺陷识别有不少应用。
  • (5)颜色特征(颜色直方图、颜色矩)
  • (6)局部二值模式( LBP)特征:LBP对诸如光照变化等造成的图像灰度变化具有较强的鲁棒性,在表面缺陷检测、指纹识别、光学字符识别、人脸识别及车牌识别等领域有所应用。由于LBP 计算简单,也可以用于实时检测。

6、图像/模板匹配:

  轮廓匹配、归一化积相关灰度匹配、不变矩匹配、最小均方误差匹配

7、色彩分析:

  色度、色密度、光谱、颜色直方图、自动白平衡

8、图像数据编码压缩和传输:

  图像编码压缩技术可减少描述图像的数据量(即比特数),以便节省图像传输、处理时间和减少所占用的存储器容量。压缩可以在不失真的前提下获得,也可以在允许的失真条件下进行。编码是压缩技术中最重要的方法,它在图像处理技术中是发展最早且比较成熟的技术。

9、表面缺陷目标识别算法:

  传统方法:贝叶斯分类、K最近邻(KNN)、人工神经网络(ANN)、支持向量机(SVM)、K-means等;

10、图像分类(识别):

  图像分类(识别)属于模式识别的范畴,其主要内容是图像经过某些预处理(增强、复原、压缩)后,进行图像分割和特征提取,从而进行判决分类。

11、图像复原:

  图像复原要求对图像降质的原因有一定的了解,一般讲应根据降质过程建立“降质模型”,再采用某种滤波方法,恢复或重建原来的图像。

(二)现有的视觉检测软件/库

1、做工业视觉检测的公司有哪些?

比较出名的有:大恒图像(亚洲Halcon最大代理商)、凌云光技术(VisionPro视觉平台:印刷、3C电子、显示屏、玻璃、线路板检测)、大族激光(振静系统:视觉激光焊接,定视觉位、缺陷检测)、康耐视、基恩士、深圳精锐视觉、深圳市视觉龙科技有限公司、广州超音速、深圳市创科自动化等等。
可二次开发的视觉系统:Labview、DVT、Halcon、OpenCV等。

2、常用的视觉检测软件/库

视觉开发软件工具 Halcon、VisionPro、LabView、OpenCV, 还有eVision、Mil、Sapera等。

  1)、Halcon: 底层功能算法多,运算性能快,功能齐全,容易上手,开发项目周期短。非开源项目,商用收费,价格较贵。

Halcon:Halcon是德国MVtec公司开发的一套完善的标准的机器视觉算法包,拥有应用广泛的机器视觉集成开发环境。它是一套image processing library,由一千多个各自独立的函数,以及底层的数据管理核心构成。其中包含了各类滤波,色彩以及几何,数学转换,型态学计算分析,校正,分类辨识,形状搜寻等等基本的几何以及影像计算功能。整个函数库可以用C,C++,C#,Visual basic和Delphi等多种普通编程语言访问。Halcon为大量的图像获取设备提供接口,保证了硬件的独立性。

  2)、OpenCV: 功能算法相对较多(比Halcon少),开源,可用于商用,开发周期较长(比Halcon长),有些算法要自己写。

OpenCV是一个基于(开源)发行的跨平台计算机视觉库,可以运行在Linux、Windows和Mac OS操作系统上。其核心轻量级而且高效——由一系列 C 函数和少量 C++ 类构成,实现了图像处理和计算机视觉方面的很多通用算法。OpenCV用C++语言编写,它的主要接口也是C++语言。该库也有大量的Python, Java and MATLAB/OCTAVE的接口,如今也提供对于C#, Ruby的支持。OpenCV可以在 Windows, Android, Maemo, FreeBSD, OpenBSD, iOS,Linux 和Mac OS等平台上运行。
OpenCV出身:OpenCV是Intel开源计算机视觉库。其核心由一系列 C 函数和少量 C++ 类构成,实现了图像处理和计算机视觉方面的很多通用算法。OpenCV 的特点拥有包括300多个C函数的跨平台的中、高层 API 跨平台:Windows, Linux;免费(FREE):无论对非商业应用和商业应用;速度快;使用方便。

OpenCV具有以下的特征:

(1)开源计算机视觉采用C/C++编写。
(2)使用目的是开发实时应用程序。
(3)独立与操作系统、硬件和图形管理器。
(4)具有通用的图象/视频载入、保存和获取模块。
(5)具有底层和高层的应用开发包。

应用OpenCV能够实现以下功能:

  • (1)对图象数据的操作,包括分配、释放、复制和转换数据。
  • (2)对图象和视频的输入输出,指文件和摄像头作为输入,图象和视频文件作为输出。
  • (3)具有对距陈和向量的操作以及线性代数的算法程序,包括距阵、解方程、特征值以及奇异值。
  • (4)可对各种动态数据结构,如列表、队列、集合、树和图等进行操作。
  • (5)具有基本的数字图象处理能力,如可进行滤波、边缘检测、角点检测、采样与差值、色彩转换、形态操作、直方图和图象金字塔等操作。
  • (6)可对各种结构进行分析,包括连接部件分析、轮廓处理、距离变换、各种距的计算、模板匹配、Hongh变换、多边形逼近、直线拟合、椭圆拟合和Delaunay三角划分等。
  • (7)对摄像头的定标,包括发现与跟踪定标模式、定标、基本矩阵估计、齐次矩阵估计和立体对应。
  • (8)对运动的分析,如对光流、运动分割和跟踪的分析。
  • (9)对目标的识别,可采用特征法和隐马尔科夫模型(HMM)法。
  • (10)具有基本的GUI功能,包括图像与视频显示、键盘和鼠标事件处理及滚动条等。
  • (11)可对图像进行标注,如对线、二次曲线和多边形进行标注,还可以书写文字(目前之支持中文)。

  3)、VisionPro

VisionPro是美国康耐视Cognex公司提供全套视觉解决方案。VisionPro提供多种开发工具拖放式界面、简单指令码和编程方式等,全面支持所有模式的开发。用户利用VisionPro QuickBuild™可以无需编程配置读取、选择并优化视觉工具,决定产品是否合格。用户也可以利用C++、C#、VB及.NET开发管理应用程序。Vision Pro提供的.NET程序接口允许用户采用面向对象的高级语言编程访问所有工具,以高效开发客户的专用视觉方案。

  4)、LabView

LabView是一种程序开发环境,由美国国 家仪器(NI)公司研制开发,使用的是图形化编辑语言G编写程序,产生的程序是框图的形式。LabView软件是NI设计平台的核心,也是开发测量或控制系统的理想选择。LabView开发环境集成了工程师和科学家快速构建各种应用所需的所有工具,旨在帮助工程师和科学家解决问题、提高生产力和不断创新。

(三)HSV颜色识别-HSV基本颜色分量范围

一般对颜色空间的图像进行有效处理都是在HSV空间进行的,然后对于基本色中对应的HSV分量需要给定一个严格的范围,下面是通过实验计算的模糊范围(准确的范围在网上都没有给出)。

  • H: 0 — 180
  • S: 0 — 255
  • V: 0 — 255

HSV(色度/饱和度/亮度)颜色空间是表示类似于RGB颜色模型的颜色空间的模型。根据色度通道(Channel)对颜色类型进行建模,因此在需要根据颜色对对象进行分割的图像处理任务中非常有用。饱和度的变化代表颜色成分的多少。亮度通道描述颜色的亮度。

 图片来源:https://blog.csdn.net/m0_67019737/article/details/129829652

image

 

 

 

 

 

posted @ 2026-03-23 14:59  suntroop  阅读(50)  评论(0)    收藏  举报