数据集_具身智能数据集了解

数据基本内容

1. 基础内容
    数据集名称 数据集发布者 数据集发布时间  
	
2.概要信息
   机器人类型：涵盖单臂机器人、双臂机器人和四足机器人等22种不同类型的机器。
   数据集规模：	
   数据集格式：所有源数据集统一转化为RLDS格式
   数据集分布:
   数据集特点:
3. 数据集测试验证   
    1）模型选择：RT1和 RT2
	2) 训练数据使用
	3)小规模数据集评估 大规模数据集评估 
	   基线（基准）对比 分布外场景泛化能力
4.参考网址
    论文链接
    项目主页    数据集发布地址

多种格式的数据集，如 aloha_hdf5、 pusht_zarr 和 xarm_pkl等。

数据种类
   环境数据
   图像数据
   本体数据---state action
数据类型--数据包含项
    图像--图像的大小hwc，图像的编码类型，图像的帧率
    视频--编码方式
	command：2秒1次发命令
    帧率：

数据格式

 对于适应内存的小型数据集，速度性能上：numpy>zarr>memmap
     对于超出内存的大型数据集，速度性能上：zarr>memmap	 
 zarr 多种格式的数据集，如 aloha_hdf5、 pusht_zarr 和 xarm_pkl等。
       zarr格式为新一代的高效存储格式,可以支持存放多个数据集
	      pip install zarr
 HDF5(Hierarchical Data Formal)
     HDFView是将*.hdf5文件进行数据可视化的软件工具
	 Python读取HDF5文件的方法有很多种,主要包括使用 h5py、pandas 和 PyTables库来读取
parquet 格式  pyarrow

数据示例

lerobot：  episode 数据、视觉数据和元数据
    Data：
       包含存储在 Parquet 文件中的 episode 数据，
       按块组织（默认每块 1000 episodes）
    Video：
       包含用于视觉数据的视频文件，按块和摄像头进行组织
    MetaData：包含元数据文件：
        info.json：数据集信息（特征、形状、FPS 等）
        episodes.jsonl：剧集元数据（索引、时长、任务）
        stats.json：用于规范化的数据集统计数据
        tasks.jsonl：任务的自然语言描述
        episodes_stats.jsonl：单集统计数据
		
 modality.json   meta/modality.json:包含模态配置,定义了状态和动作数组的结构
    ─modality.json  # -> GR00T LeRobot特有

modality

{
"state": {
    "<state_key>": {
        "start": <int>,         // 状态数组中的起始索引
        "end": <int>,           // 状态数组中的结束索引
        "rotation_type": <str>,  // 可选：指定旋转格式
        "dtype": <str>,         // 可选：指定数据类型
        "range": <tuple[float, float]>, // 可选：指定模态范围
    }
 },
 "action": {
    "<action_key>": {
        "start": <int>,         // 动作数组中的起始索引
        "end": <int>,           // 动作数组中的结束索引
        "absolute": <bool>,      // 可选：true表示绝对值，false表示相对/增量值
        "rotation_type": <str>,  // 可选：指定旋转格式
        "dtype": <str>,         // 可选：指定数据类型
        "range": <tuple[float, float]>, // 可选：指定模态范围
    }
 },

数据通信

  宇树科技选择了 ZeroMQ 作为通信方式

公司

星海图  银河通用 
    如何获取数据以及如何利用数据训练人形机器人

数据集

数据集名称	发布主体	发布时间	数据来源
Open X-Embodiment	谷歌	2023年10月	仿真、开源整合、真实数采
LeRobot Dataset	抱抱脸	2024年05月
GR00T-X-Embodiment	英伟达	2025年03月	真实世界、合成数据和网络数据
ARIO 数据集	鹏城实验室	2024年03月
AgiBot World	智元	2024年12月	真实数采
G1_MountCameraRedGripper_Dataset	宇树	2025年03月	真实数采

数据集的说明

具身智能的数据说明

单个关节的数据
    sensor_msgs/msg/JointState 	 
        std_msgs/Header header      #时间戳信息 和 frame_id
        string[] name
        float64[] position
        float64[] velocity
        float64[] effort 
  单个关节到一组

the coarse DoF ranges are listed as:

"left_hand":  { "start": 7, "end": 13 },
"right_hand": { "start": 29, "end": 35 }

脖子：Neck  耳朵：Ear  嘴唇：Lips  鼻子：Nose  额头：Forehead  下巴：Chin 嘴巴：Mouth
肘部:Elbow   肩膀：Shoulder 
臀部:Hip
前臂:Forearm   胸部:Chest 
手臂:Arm 手:Hand 手掌:Palm 手腕:Wrist 拇指:Thumb 
膝盖：Knee  小腿：Calf  脚踝：Ankle

本体数据-关节数据

脖子-neck
     "neck":["NECK_Y","NECK_P","NECK_R"]
7个臂关节 arm：
    肩部俯仰（Shoulder pitch）肩部滚转（Shoulder roll）肩部偏航（Shoulder yaw）
    肘部俯仰（Elbow pitch）
    腕部偏航（Wrist yaw）  腕部滚转（Wrist roll） 腕部俯仰（Wrist pitch）
左右手hand 6个手指关节：0小拇指  1 无名指   2中指    3食指   4_弯曲   5_旋转
	小指（Little finger）无名指（Ring finger） 中指（Middle finger） 食指（Index finger）
    拇指旋转（Thumb rotation）  拇指弯曲（Thumb bending）  
对于腰部-waist：
     躯干腰部偏航（torso waist yaw） 躯干腰部俯仰（torso waist pitch） 躯干腰部滚转（torso waist roll）
左右腿leg
      "腿leg"  :["L_HIP_P臀部","L_HIP_R","膝盖L_HIP_Y", "脚踝L_KNEE_P",  "L_ANKLE_P","L_ANKLE_R"]

参考

 Request for DOF order for each hand (GR1) https://github.com/NVIDIA/Isaac-GR00T/issues/180	 
 https://docs.ros2.org/foxy/api/sensor_msgs/msg/JointState.html

posted @ 2025-08-06 19:22 辰令阅读(79) 评论(0) 收藏举报

刷新页面返回顶部

辰令

辰时令节

数据集_具身智能数据集了解

数据基本内容

数据格式

数据示例

modality

相关参数

数据通信

公司

数据集

数据集的说明

具身智能的数据说明

the coarse DoF ranges are listed as:

本体数据-关节数据

参考