机器视觉入门介绍

机器视觉

为了响应党中央、国务院做出的建设制造强国的重大战略部署，各地政府、企业、科研部门都在进行积极的探索和部署。加快推动新一代信息技术与制造技术融合发展，推动我国制造模式从“中国制造”向“中国智造”转变，加快实现我国制造业由大变强，正成为我们新的历史使命。当前，信息革命进程持续快速演进，物联网、云计算、大数据、人工智能等技术广泛渗透于经济社会各个领域，信息经济繁荣程度成为国家实力的重要标志。增材制造（3D 打印）、机器人与智能制造、控制和信息技术、人工智能等领域技术不断取得重大突破，推动传统工业体系分化变革，信息技术、人工智能等领域技术不断取得重大突破，推动传统工业体系分化变革，并将重塑制造业国际分工格局。

机器视觉通俗点说就是“机器眼”。同理，由于人眼在人身上的作用，也可以联想到机器视觉在机器上的作用。

机器视觉的应用领域及应用事例

应用领域 应用事例

医学：基于X 射线图像、超声波图像、显微镜图像、核磁共振(MRI)图像,CT图像,红外图像、人体器官三维图像等的病情诊断和治疗,病人监测与看护

遥感：利用卫星图像进行地球资源调查,地形测量、地图绘制,天气预报,以及农业,渔业、环境污染调查、城市规划等

宇宙探测：海量宇宙图像的压缩、传输、恢复与处理

军事：运动目标跟踪、精确定位与制导,警戒系统、自动火控、反伪装、无人机侦查

公安,交通：监控、人脸识别、指纹识别、车流量监测、车辆违规判断及车牌照识别,车辆尺寸检测、汽车自动导航

工业：电路板检测、计算机辅助设计(CAD),计算机辅助制造(computer aided manufac-turing,CAM),产品质量在线检测,装配机器人视觉检测,搬运机器人视觉导航、生产过程控制

农业、林业、生物：果蔬采摘、果蔬分级、农田导航、作物生长监测及 3D 建模,病虫害检测,森林火灾检测、微生物检测、动物行为分析

邮电、通信、网络：邮件自动分拣,图像数据的压缩,传输与恢复,电视电话,视频聊天,手机图像的无线网络传输与分析

体育：人体动作测量、球类轨迹跟踪测量

影视、娱乐：3D 电影、虚拟现实、广告设计、电影特技设计、网络游戏

办公：文字识别、文本扫描输人、手写输人,指纹密码

服务：看护机器人,清洁机器人

机器视觉系统：摄像机、电脑、光源、图像采集卡等设备。

CMOS和CCD相机区别：在弱光低速的环境下可以选择CCD相机，有助于获取丰富的图像细节；若追求高性价比、高成像速度和成像质量，可以选择新式的CMOS。拍摄高速物体选择全局快门，因为逐行曝光的滚动快门会产生畸变；如果拍摄静态的或低速物体，可以选择滚动快门。
相机接口：

一、目标提取
1、基于阈值的目标提取：大津法（OTSU）、
2、基于颜色的目标提取：把RGB彩色图像变为HSV图像（I为亮度、H为色调、S为饱和度）。利用色差（红蓝绿）来提取目标区域，如pixel(x,y)=2G-R-B。
3、基于差分的目标提取：帧间差分、背景差分(准备好背景图像)。
帧间差分：将前帧图像的每个像素减去后帧图像的每个像素值（或者反之），获得的结果如果大于设定的阈值，在输出图像上就呈现白色，否则为黑色。

二、边缘检测
图像中的物体与物体或者物体与背景之间的交界是边缘，能够设想图像的灰度及颜色急剧变化的地方看作边缘。
1、基于微分的边缘检测：一阶微分(梯度运算)、二阶微分(拉普拉斯运算)；
2、基于模板匹配的边缘检测：Sobel算子、Prewitt算子。

边缘图像的二值化处理；细线化处理；
Canny边缘检测算法：
（1）图像平滑，采用高斯滤波器去除噪声；
（2）寻找图像中的强度梯度（梯度运算）；
（3）非极大抑制；
（4）双阈值处理；
（5）滞后边界跟踪；

三、图像平滑处理
图像在获取和传输过程中会受到各种噪声的干扰，使图像的质量下降，为了抑制噪声、改善图像质量，要对图像进行平滑处理。图像平滑处理就是在尽量保留图像细节特征的条件下对图像噪声进行抑制。常见的几种平滑方式：空域滤波、频率滤波、线性滤波、非线性滤波。
均值滤波：用某像素周围n×n像素范围内的平均值置换该像素的方法。
中值滤波：用某像素周围n×n像素范围内的大小排列范围内的中间值置换该像素的方法。
高斯滤波：

模糊图像的清晰化处理
图像增强：对图像中包含的亮度和色彩等信息进行增幅，或者将这些信息变换成其他形式的信息等，通过各种手段来获取清晰图像的方法称为图像增强，而图像增强，根据增强的信息不同，有边缘增强、灰度增强、色彩的饱和度增强方法等。

对比度增强：图像的明亮部分与阴暗部分的灰度比值称为对比度。将图像中的灰度值扩大n倍。

直方图均衡化：采用压缩原始图像中像素数较少的部分，拉伸像素数较多的部分的处理。

二值图像的平滑处理：膨胀、腐蚀和面积去噪。

四、几何参数检测

基于图像特征的自动识别：面积（area）、计算区域像素数、周长、物体或区域轮廓线的周长是指像素间距离之和、圆形度、重心、长度和宽度、欧拉数、方向矩。

五、几何变换
放大缩小(最近邻点法、双线性内插法)、平移、旋转

六、单目和双目视觉测量
标定板生成：MATLAB程序

clear
clc
n = 200/25*300;
t=20/25*300;%1英寸=25.4mm,由于n必须是整数，所以这里25.4改为25估算，实际打印效果会稍微大那个1mm左右
I = ones(n);
I = mat2cell(I,t*ones(1,10),t*ones(1,10));
for i = 1:5
    for  j = 1:5
        I{(i-1)*2+1,2*j} = zeros(t,t);
        I{2*i,(j-1)*2+1} = zeros(t,t);
    end
end
I = cell2mat(I);
figure;
imshow(I);
imwrite(I,'a.bmp');%保存出来，这样像素就不会变了
% 然后拿a.bmp去打印吧，实测效果很好！

七、运动图像处理
八、模式识别
模式：广义地说，存在于时间和空间中可以观测的事物，如果我们可以区别它们是否相同或是否相近，都可以称之为模式。
图像识别是模式识别的一个分支，特指模式识别的对象是图像，具体地说，它可以是物体的照片、影像、手写字符、遥感图像、超声被信号、CT影像。MRI影像、射电照片等。图像识别所研究的领域十分广泛，机械工件的识别、分类；从遥感图像中辨的概念别森林、湖泊、城市和军事设施；根据气象卫星观测数据判断和预报天气；根据超声图像、CT图像或核磁共振图像检查人的身体状况；在工厂中自动分拣产华把认识对象分类成几个概念时品；在机场等地根据人脸照片进行安全检查等。上述这些都是图像识别研究的课题，虽然种类繁多，但其关键问题主要是分类。

图像识别系统的基本组成：图像信息获取、预处理、特征提取和选择、分类决策四个方面。图像处理（编码、压缩、增强、分割、复原等）；图像输出：图像识别（特征提取、分类）、图像理解。

图像识别方法
模板匹配，表征：样本、像素和曲线，识别方式：相关系数和距离度量。
统计识别，表征：特征，识别方式：分类器。
句法/结构识别，表征：构造语言，识别方式：规则、语法。
神经网络，表征：样本、像素和曲线，识别方式：网络函数。