数据集_具身智能数据集了解

数据基本内容

1. 基础内容
数据集名称 数据集发布者 数据集发布时间

2.概要信息
机器人类型：涵盖单臂机器人、双臂机器人和四足机器人等22种不同类型的机器。
数据集规模：
数据集格式：所有源数据集统一转化为RLDS格式
数据集分布:
数据集特点:
3. 数据集测试验证
1）模型选择：RT1和 RT2
2) 训练数据使用
3)小规模数据集评估 大规模数据集评估
基线（基准）对比 分布外场景泛化能力
4.参考网址
论文链接
项目主页 数据集发布地址

多种格式的数据集，如 aloha_hdf5、 pusht_zarr 和 xarm_pkl等。

数据种类
环境数据
图像数据
本体数据---state action
数据类型--数据包含项
图像--图像的大小hwc，图像的编码类型，图像的帧率
视频--编码方式
command：2秒1次发命令
帧率：

数据格式

对于适应内存的小型数据集，速度性能上：numpy>zarr>memmap
对于超出内存的大型数据集，速度性能上：zarr>memmap
zarr 多种格式的数据集，如 aloha_hdf5、 pusht_zarr 和 xarm_pkl等。
zarr格式为新一代的高效存储格式,可以支持存放多个数据集
pip install zarr
HDF5(Hierarchical Data Formal)
HDFView是将*.hdf5文件进行数据可视化的软件工具
Python读取HDF5文件的方法有很多种,主要包括使用 h5py、pandas 和 PyTables库来读取
parquet 格式 pyarrow

数据示例

lerobot： episode 数据、视觉数据和元数据
Data：
包含存储在 Parquet 文件中的 episode 数据，
按块组织（默认每块 1000 episodes）
Video：
包含用于视觉数据的视频文件，按块和摄像头进行组织
MetaData：包含元数据文件：
info.json：数据集信息（特征、形状、FPS 等）
episodes.jsonl：剧集元数据（索引、时长、任务）
stats.json：用于规范化的数据集统计数据
tasks.jsonl：任务的自然语言描述
episodes_stats.jsonl：单集统计数据

modality.json meta/modality.json:包含模态配置,定义了状态和动作数组的结构
─modality.json # -> GR00T LeRobot特有

modality

{
"state": {
"<state_key>": {
"start": , // 状态数组中的起始索引
"end": , // 状态数组中的结束索引
"rotation_type": , // 可选：指定旋转格式
"dtype": , // 可选：指定数据类型
"range": <tuple[float, float]>, // 可选：指定模态范围
}
},
"action": {
"<action_key>": {
"start": , // 动作数组中的起始索引
"end": , // 动作数组中的结束索引
"absolute": , // 可选：true表示绝对值，false表示相对/增量值
"rotation_type": , // 可选：指定旋转格式
"dtype": , // 可选：指定数据类型
"range": <tuple[float, float]>, // 可选：指定模态范围
}
},

相关参数

机器人相关参数，
包括
机器人形态（如单臂、AGV、轮式、双臂、仿人机器人）、
机器人运动对象（如末端执行器、关节和基座）、
机器人物理变量（如旋转角度、位置、速度、力或力矩）
以及传感器类型和安装位置等。

不同的频率 基于时间戳的对齐机制：基于时间戳实现多传感器数据同步记录，兼容不同采样频率，以确保多模态数据的同步
相机数据以30Hz的频率记录，激光雷达数据以10Hz记录，
本体感知数据以200Hz记录，触觉数据以100Hz记录。
数据集采用场景系列（Series）- 任务（Tasks）- 片段（Episodes）的层次结构。
Series 是指同一个场景和同一个机器人采集的系列数据，如人形机器人在工厂车间采集的系列数据，可能包含不同的任务；
Task 是一个具体的任务，比如搬运货物，同一个任务可以重复采集多次，
Episode 是针对某一具体任务的一次完整采集过程。
场景序列、个任务、个轨迹片段

数据通信

宇树科技选择了 ZeroMQ 作为通信方式

公司

星海图 银河通用
如何获取数据以及如何利用数据训练人形机器人

数据集

数据集名称	发布主体	发布时间	数据来源
Open X-Embodiment	谷歌	2023年10月	仿真、开源整合、真实数采
LeRobot Dataset	抱抱脸	2024年05月
GR00T-X-Embodiment	英伟达	2025年03月	真实世界、合成数据和网络数据
ARIO 数据集	鹏城实验室	2024年03月
AgiBot World	智元	2024年12月	真实数采
G1_MountCameraRedGripper_Dataset	宇树	2025年03月	真实数采

数据集的说明

具身智能的数据说明

单个关节的数据
sensor_msgs/msg/JointState
std_msgs/Header header #时间戳信息 和 frame_id
string[] name
float64[] position
float64[] velocity
float64[] effort
单个关节到一组

the coarse DoF ranges are listed as:

"left_hand": { "start": 7, "end": 13 },
"right_hand": { "start": 29, "end": 35 }

脖子：Neck 耳朵：Ear 嘴唇：Lips 鼻子：Nose 额头：Forehead 下巴：Chin 嘴巴：Mouth
肘部:Elbow 肩膀：Shoulder
臀部:Hip
前臂:Forearm 胸部:Chest
手臂:Arm 手:Hand 手掌:Palm 手腕:Wrist 拇指:Thumb
膝盖：Knee 小腿：Calf 脚踝：Ankle

本体数据-关节数据

脖子-neck
"neck":["NECK_Y","NECK_P","NECK_R"]
7个臂关节 arm：
肩部俯仰（Shoulder pitch）肩部滚转（Shoulder roll）肩部偏航（Shoulder yaw）
肘部俯仰（Elbow pitch）
腕部偏航（Wrist yaw） 腕部滚转（Wrist roll） 腕部俯仰（Wrist pitch）
左右手hand 6个手指关节：0小拇指 1 无名指 2中指 3食指 4_弯曲 5_旋转
小指（Little finger）无名指（Ring finger） 中指（Middle finger） 食指（Index finger）
拇指旋转（Thumb rotation） 拇指弯曲（Thumb bending）
对于腰部-waist：
躯干腰部偏航（torso waist yaw） 躯干腰部俯仰（torso waist pitch） 躯干腰部滚转（torso waist roll）
左右腿leg
"腿leg" :["L_HIP_P臀部","L_HIP_R","膝盖L_HIP_Y", "脚踝L_KNEE_P", "L_ANKLE_P","L_ANKLE_R"]

参考

Request for DOF order for each hand (GR1) https://github.com/NVIDIA/Isaac-GR00T/issues/180
https://docs.ros2.org/foxy/api/sensor_msgs/msg/JointState.html