具身的数据了解

具身的战国时代

能够进入生活中的形态的问题
机械臂本体、数采方式 和模型都没有收敛-多个技术路径
单纯做算法离硬件和最终的产品距离有点远
具身行业的数据问题越来越严重，怎么去解决数据问题变得异常的迫切
核心价值贡献：例如数据问题- 解决这个行业价值卡点
自动驾驶它的数据生产的过程是可以强烈的依靠在本体上面的

数据采集方案

学术界采集路线
开放环境）中采集的方案
UMI / Fast-UMI 为代表的夹爪数采方案
MEgo Gripper 轻量化 UMI 采集夹爪、动捕专用 IMU
毫米级轨迹重建、亚毫秒级多模态时序同步,设备原生集成 9 轴高精度 IMU,用以同步输出姿态
MEgo View 头戴式 Ego 双视角终端,
DexCAP / ARCAP 为代表的灵巧手数采方案
MEgo Gloves
umi、dexcap
通过动捕手套来做灵巧手的映射
产业界
VR 遥操 + 动捕手套
都是自己做本体，遥操系统其实可用于反哺硬件本体的设计
动捕设备来采集人手关节的映射

主臂（leader 臂） 从臂（follower 臂

数据平台

MEgo Engine 数据治理平台

UMI方案

24年2.19，斯坦福和哥伦比亚大学、丰田研究所的研究者 改造SLAM、结合IMU传感器、手持夹持器
UMI，演化出了Fast-UMI、MV-UMI、DexUMI、ActiveUMI一整个家族
UMI本质是一个用于数据收集和策略学习的框架，其使用手持夹持器可以简单快速且低成本的收集一系列训练机器人的数据
UMI（Universal Manipulation Interface）
用"手腕相机"对齐人和机器人
用Diffusion Policy学"相对轨迹+延迟补偿
三种延迟：观察延迟、策略推理延迟、执行延迟
推动具身数据采集从“专业体系”迈向“社会化网络”，实现关键范式转变-- 从工厂采集进入到日常采集
采得的数据能不能用？
传统UMI默认“记录人类操作行为”的采集目标
传统数据采后筛选模式
在采集当下即可完成判断，从根源规避重复、低价值数据问题-实现实时评估、即时引导、动态调度三大动作

改造通讯方式 在两种路径，一个是改成ROS，一个是做通用化改写

参考

具身操作的数采方案概览 https://zhuanlan.zhihu.com/p/14109860960