[试用]iNeuOS_Vision 视觉分析：YOLO与增强模型提升SOP 操作识别效率与精度

通过网盘分享的文件(安装包和手册)：iNeuOS_Vision

一、概述

1.1 应用场景

　　在装配、检验、维修、包装等固定工位，作业人员需要按既定工序逐步完成操作。摄像头视角固定、步骤存在明确先后关系，每个动作持续数秒。系统需要自动判断当前步骤是否完成，用于防错、节拍统计、过程追溯与异常告警。

　　这类场景通常已经具备两类数据资产：

　　一是 YOLO 目标检测模型及标注数据，用于识别手部、零件、工具等目标；

　　二是按时间顺序采集的步骤样本图片，用于描述从一个步骤到当前步骤的过程。应用流程图：

1.2 要解决的问题

1.3 解决方案与优势

　　方案在原有 YOLO 应用之上增加一层时序判断：YOLO 对每帧输出目标类别与位置，系统将其装配为帧级特征，包括每个类别的中心点、宽高、存在性与位移速度；特征按时间顺序滑窗送入增强模型，由模型预测当前步骤，连续多个窗口命中同一步骤后才确认事件。

　　增强模型只使用历史帧、不引入未来信息，适配实时视频流；窗口长度、滑窗步长与抽帧帧率共同定义动作的时间尺度。检测置信度、IoU 与推理尺寸随训练写入模型元数据，构建数据集和在线推理共用同一套值，从机制上避免训练与上线口径不一致。

表 1 YOLO 类别确认与增强模型增强对比

二、应用步骤

2.1 SOP 模板配置

　　模板配置决定识别什么、按什么时间尺度识别，配置步骤如下：

　　在“编辑模板 → 步骤管理”维护步骤：步骤编码、名称、YOLO 模型、样本数据集、模型类别（可多选，留空按步骤编码匹配）、置信度、IoU、确认帧数、超时时间、是否必需、是否允许重复。

　　选择模板特征YOLO模型。所有步骤必须共用同一个特征模型，保存模板时后端会强制同步，保证特征维度与类别顺序一致。

2-1

　　在“模型训练”页配置参数：窗口长度、滑窗步长、训练帧率、训练轮数、批大小、学习率、卷积通道、dropout、训练设备、检测置信度、检测 IoU、推理尺寸与是否重建数据集。

　　执行训练。系统先按检测口径对样本逐帧推理并构建数据集，再训练增强模型，最后生成模型与元数据；元数据包括权重、模型元数据、训练日志、数据集元数据与配置。

　　在“模型验证”页查看指标并逐帧回放。验证支持目录或单张图片，检测口径默认跟随模型记录值，也可临时调整做对比；指标用于参考，最终以现场灰度结果为准。

2.2 SOP 编辑摄像头

　　摄像头配置决定在哪路视频上启用、以什么频率识别。

2.3 SOP 操作监测

监测页用于确认识别是否稳定、事件是否可信，也是问题闭环的入口。

实时画面：显示当前步骤识别框、行为轨迹与步骤 HUD；无画面时给出具体原因，而不是留空。
运行状态：查看当前步骤、TCN 预测步骤与置信度、连续确认计数，以及回退原因与推理节奏提示。
统计与追溯：按轮次查看节拍与完成情况，查询步骤事件与轨迹段，回放轨迹并查看事件截图。
异常闭环：出现误判或漏判时，先查运行状态与验证日志，再补充样本（尤其是无动作背景帧）、调整窗口或检测口径，重训并验证后灰度上线；持续观察实际推理帧率、确认延迟、误判率与未预期类别告警量。

1-1