DexYCB数据集3D内容理解与指南

DexYCB是一个人手抓取物体的序列数据集，而序列数据集涉及坐标系以及各种参数，要用DexYCB数据集，就得知道数据集的内容，知道每个参数的含义以及所在的坐标系。本人主要研究3D的动捕数据，因此主要研究DexYCB中的3D形式，而DexYCB不止包含3D形式，还有各种手工标记的label、RGB-D图像等，需自行了解。本文通过参考DexYCB论文、源码、issues等，总结出对数据集的3D内容理解与指南。
DexYCB网站
DexYCB论文
DexYCB源码

DexYCB简要介绍

这部分主要是从论文中学习到的。

1. 数据集采集的时候是RGB-D图，共有8个相机视角，以30帧/秒的速度记录所有8个视图，颜色和深度分辨率为640×480。（DexYCB根据采集的图像，提供了每一帧的物体、手的3D信息。）
2. 数据集在桌面上进行，包含手和物体，物体来自YCB数据集，共10个类别，每个类别20个物体。桌子上会放2-4个物体，其中包含一个目标物体，手从一个放松的姿势开始，拿起目标物体，并把它举在空中。
3. 实验以每个trial为主，一个trial就是一个序列。一个trial有3秒的时间。对于每个目标物体重复进行5次trials，每次使用一组随机的伴随物体（桌面摆放的物体）和放置。由于有100个物体，整个实验有1000个序列。
4. 关于手和物体的ground-truth 3D信息获取方式是依赖于对每个视图中的手和对象的2D关键点注释，并通过优化得到的（详情见论文中的2.3节）。手有21个关节点（一个腕关节点，每根手指有4个关节点），物体是人为标注的。
5. DexYCB提供了四个场景下train/val/test的不同分割方式，如下：
   

DexYCB数据集细节

DexYCB数据集官网有给出下载链接，共10个类别，一个类别大概11G。另外要下载bop、calibration、models三个文件夹，对后续数据处理有帮助。

目录情况

下面介绍一下数据集目录情况。

├── 20200709-subject-01  类别
    ├── 20200709_153548  序列名，每个类别有100个序列
        ├── pose.npz 每一帧的物体和手的pose信息
        ├── meta.yml 保存一些超参数，如桌面的物体编号、目标对象编号、左/右手、帧数等
        ├── 932122062010  相机视角名，每个序列有8个视角
            ├── labels_000001.npz 每一帧的标签，后面编号是帧数索引，不同序列的帧数不一样
            ├── ... 
            ├── color_000001.jpg 每一帧的RGB，后面编号是帧数索引
            ├── ...
            ├── aligned_depth_to_color_000001.png 每一帧的深度图
            ├── ...
        └── ...
    └── ...