iNeuOS_Vision视觉分析，SOP操作的行为轨迹和实时监测场景

iNeuOS_Vision视觉分析，SOP操作的行为轨迹和实时监测场景

通过网盘分享的文件：iNeuOS_Vision

链接: https://pan.baidu.com/s/19GrUoWXnG2fnNhesNDJ5Qg?pwd=unmy 提取码: unmy

参考链接

双模型引擎协同：基于 YOLO + 多模态 VLM 的目标检测、语义理解与 SOP 合规分析复合工业场景实践与应用：https://mp.weixin.qq.com/s/0lukXIL9ZQBPdLZ8kO1kWg

iNeuOS_Vision视觉分析在SOP标准工作操作规程的应用：https://mp.weixin.qq.com/s/_vN56XMhEkcWit-hJA8lCA

一、概述

iNeuOS_Vision 是以YOLO 目标检测和多模态VLM模型语义理解为双引擎的工业视觉智能分析平台。

在高标准作业现场，"是否按标准工序操作"长期依赖人工巡查与事后抽检。iNeuOS Vision 通过轨迹配置把每路摄像头的主体跟踪、区域划分与轨迹样式固化为可预览、可回放的可视化过程数据，再通过SOP操作监测将同一路视频的实时画面（识别框与轨迹同框）与按完整操作步骤轮次统计的检测次数、通过率、逐步结果与耗时集中到一个监测看板上，先看清过程、再量化结果，让"是否按标准操作"从主观判断变成可实时查看、可追踪归因的客观结论。在SOP操作监测功能查看，如下图：

1_副本

二、轨迹配置

2.1 配置模型

一是必填的“主体模型”，用于提取关键点以生成跨帧轨迹（当前选配了手部姿态模型），支持detect、pose、segment、obb等多种任务类型；二是可选的“标注模型”，用于在实时预览和事件截图中叠加渲染物体检测框、标签与置信度。此外，窗体还提供了“抽帧频率”设置（当前为5），用于控制视频采样率以保证动作轨迹的连贯性。如下图：

2.2 配置主体

用于精细化定义参与轨迹计算的各类目标及其坐标提取策略。支持手动新增或从模型类别一键导入，每一行定义了一个需要被独立跟踪的主体（就是模型的类别）。在表格中，系统将自定义的 key 与模型的英文类别绑定，并允许配置决定轨迹画在哪里的“取点方式”（当前默认选中 bbox_center 即框中心，也可选关键点均值或掩码质心等）；同时可设置该目标在画面中的“实例上限”以防止误识别消耗算力，并通过勾选右侧的“跟踪”列来激活底层的跨帧跟踪算法（如 ByteTrack）以维持 ID 的稳定。如下图：

2.3 配置工位ROI

用于在监控画面中划定具有特定业务含义的物理工位区域，以此作为轨迹坐标系运算的核心基准。界面左侧为多边形绘制画布，用户可通过单击鼠标逐点框选目标区域（如图中洋红色多边形），并提交按整帧归一化保存的坐标；右侧则用于对当前绘制的区域进行命名（如示例中定义的“fixture”核心工位区）、完成提交、清除草稿，以及对“已有区域”列表进行载入编辑或删除管理。如下图：

2.4 配置轨迹参数

用于对轨迹数据的底层处理算法与存储策略进行精细化控制。在轨迹形态处理方面，系统通过设置“重采样点数”（如32）和“平滑系数”（如0.6），将连续采样的坐标等弧长重采样为固定长度并进行指数平滑（EMA），从而消除手部抖动带来的锯齿。在轨迹切段与异常过滤方面，设定了“最大段长”（20秒）和“丢失判定”（1秒）作为切分边界，并结合“最少点数”（如8）过滤掉无效的碎片化数据。此外，针对数据持久化，提供了“点集文件策略”（如summary摘要模式）、“抽样比例”和“回收缓冲段数”，以优化存储空间。如下图：

2.5 配置预览样式

用于监控预览画面的各项视觉叠加层与渲染规格，确保产线画面直观且不杂乱。页面顶部集中设定了预览帧率（5）、长边分辨率（960）与显示阈值（0.5），并精细调整了核心轨迹的视觉属性（黄色、线宽4、尾迹时长3秒）。中间的图层控制区根据实际防呆需求，开启了区域、物体框、标签、置信度及轨迹的实时绘制，同时出于画面整洁考虑关闭了主体框、骨架与角标。下方不仅提供了用于将英文类别名映射为中文（如“reset_spring_pin”映射为“复位簧固定销”）的配置框，还附带了底层配置的只读 JSON 预览面板，支持实施人员一键复制以跨工位复用。如下图：

2.6 配置实时预览

验证所有前置配置（模型、主体、样式等）是否生效的可视化终端。顶部状态栏实时反馈了底层 Worker 的运行状态、轨迹运行状态及内存缓冲段的占用情况（如 11/20 段），让实施人员直观掌握后台负载。主画面直接呈现了带有渲染叠加层的实时视频流，画面中手部主体被黄色虚线框精准捕捉，关键点以黄色圆点标记，并实时绘制了极短的运动轨迹尾迹。如下图：

7_副本

2.7 配置即时回放

用于通过内存缓冲数据快速验证近期生成的轨迹形态与渲染效果。界面左侧为“最近轨迹段”列表，按时间倒序排列了最近生成的主体轨迹片段，并标注了时间戳、主体类别（如left_fist）、点数及持续时长；列表下方的提示表明，若内存缓冲已满，较旧的轨迹项会置灰，此时仅保留摘要记录而无法预览。在列表中选中某一段轨迹后，右侧画面区会立刻呈现该时刻的静态画面帧，并叠加显示主体的黄色检测框、关键点以及运动尾迹。如下图：

8_副本