CV模型 在工业焊接领域 的应用

传统基于离线编程的 机器人无法应对焊接工件尺寸误差、定位误差和热变形造成的焊缝偏移。为此提出多种焊缝识别与定位方法，主要包括：基于视觉传感，电弧传感和超声传感的焊缝识别与定位方法。

视觉传感包括被动视觉和主动视觉。被动视觉往往在焊接开始前便定位出所有的焊缝坐标，而在焊接过程中则不再工作，属于典型的离线工作模式。对于刚度较差的焊接工件，焊接过程产生的热变形会使得焊缝坐标偏离计算的焊接轨迹，因此基于被动视觉传感的焊缝识别与定位方法难以适用于热变形大的焊接工件。

结构光视觉系统通过向焊接工件主动投射结构光条纹，提取图像中结构光图案的特征点或变形量来定位焊缝的坐标，将焊缝识别与定位转化为了结构光条纹特征点的识别与定位，即输入图像输出特征点。结构光视觉系统定位有基于3D的点云方式和基于2D的两个摄像机空间定位方式。

---

基于2D的，三步：

1.焊缝类型(对接，T型，搭接，角接接头)识别和初始焊接位置引导：目标检测
2.实时焊缝跟踪：激光源移动，模型输入相机采集的焊缝图片输出结构光掩码，根据结构光掩码得到特征点二维空间位置，焊接头移动到特征点(两个不同位置摄像机经过计算得到第三个维度——高度)进行焊接，激光源继续移动。
3.焊接缺陷检测

---

实时焊缝跟踪中，模型输入相机采集的焊缝图片输出结构光掩码这一步：

模型输入焊缝图片输出结构光掩码，即激光条纹提取，精确提取与焊接机器人在工件上的精确定位直接相关。

相关模型如FCN 语义分割网络、Segnet 语义分割网络、Unet 语义分割网络、 Enet语义分割网络，deeplab v3+。特点是实时性，通过降低输入图片分辨率实现。

---

解决计算成本大实时性低的问题：dynamic squeeze network

总体实现（策略、算法和模型）：反向传播策略（pytorch）、小批量随机梯度下降算法（pytorch）、CNN架构的U型模型（编码器+特征融合模块+解码器）【特殊的编码器（MLP），特殊的融合模块（轻量级注意力机制）】

超参数，epoch大小，损失函数，数据增强，评估函数：

- 采用ADAM优化器的学习率为2×10−3，同时应用的衰减为10−4；使用余弦lr调度器，最大迭代次数等于600，最小学习率等于10−5；批处理量8
- epoch为600
- 损失函数为dice（接缝图像中激光条纹像素的比例较小，正负样本之间存在严重的不平衡。）和bce（为了使训练过程更加稳定）的平均值。
- 数据增强为，193图片通过2:8划分训练集测试集，通过随机旋转、翻转等转换，训练数据集的大小从154扩大到616。输入尺寸512*512
- 评估函数为iou

数据集：基于公共焊缝图像数据集，构建了一个用于激光条纹提取的新缝图像数据集。该数据集由193张图像组成，由来自公共数据集的48张图像组成，分辨率为1280×1024，和来自我们实验的145张图像组成，分辨率为630×414。

算力：CUDA 11.4，NVIDIA GTX 1050ti（4GB内存）。

---

---

焊缝类型识别和初始焊接位置识别，用目标检测和目标分类模型：

两个不同位置摄像机得到的关键点二维坐标经过计算，得到第三个维度——高度

---

比yolo系列空间小且运算参数少：weld seam type identification model

总体实现（策略、算法和模型）：反向传播策略（pytorch）、小批量随机梯度下降算法（pytorch）、CNN架构的U型模型（编码器+特征融合模块+解码器）

超参数，epoch大小，损失函数，数据增强，评估函数：

- 无超参数说明
- epoch为500（经过500个epoch的模型训练后，定位损失达到0.019，置信度损失达到0.008）
- 损失函数：定位损失+分类损失+置信度损失
- 数据增强：6倍量的增强（原始图像、图像翻转、高斯噪声、亮度调整、中值过滤器、仿射变换）。
- 无评估函数说明

数据集：在焊接场景中采集了3000件原始图像，其中对接接头工件1000件，搭接工件1000件，角缝工件1000件。采用图像增强的方法来增加训练图像的数量。工件数据集共包含18 000张图像。其中，90%的工件图像构成训练数据集，10%的工件图像构成测试数据集。

算力：无算力说明

---