【具身智能】Ψ0论文阅读随笔

简述

\(\psi_0\)是一种对人形机器人设计的VLA（我之前一直以为它是WAM😂）。

核心

\(\psi_0\)的工作，我想将其分为四个核心点：

• \(\psi_0\)模型
• 动作分块
• 和人形机器人相关的灵巧任务
• 训练+数据分析

我将按顺序依次详解（也许并非详解😄）

\(\psi_0\)模型

\(\psi_0\)的架构可以进行拆分：

• System 2：VLM模型处理视觉语言输入
• System 1：以潜特征向量为条件进行流式动作生成
• System 0：将下半身动作分离出来单独用一个模型执行

System 2（VLM——Qwen3-VL-2B-Instruct）

VLM被训练以大规模人类第一视角数据集，旨在让它理解视觉语言指令并进行操作的能力。（所以它最终的输出是离散动作token）

训练完成后，VLM被冻结（保留能力），拆掉负责将潜特征向量处理为离散动作的动作头部分。

System 1（MM-DiT——多模态扩散模型）

将VLM得到的潜特征向量作为条件，去噪时间步\(\tau\)，对动作进行去噪。

其中，对基本\(DiT\)进行改造，使用了\(MM-DiT\)。

MM-DiT

对于\(a\)（动作去噪），\(z\) (VL特征)

使用\(FiLM\)进行特征调整，即分别通过当前时间步\(\tau\)进行调制，生成\(a_1\)，\(z_1\)，使得其与去噪时间步关联。

然后\(a_1\)，\(z_1\)通过联合注意力机制（拼接-QKV-生成-拆分），生成\(a_2\)，\(z_2\)，使得其吸收多模态信息。

\(a\)，\(z\)进行处理：\(a=a + a_2\)，\(z=z + z_2\)

\(a\)，\(z\)经过MLP，得到\(a_3\)，\(z_3\)，进行拼接\(a = a + a_3\)，\(z = z + z_3\)

得到一步去噪的\(a\)，\(z\)，多次迭代后得到最终\(a\)。

System 0（下半身动作操作，RL）

就一个RL模型（AMO），将下半身动作更加稳定的进行。

动作分块

对于生成的动作序列 \(a\)

执行此动作序列时，模型以a的未执行动作为条件，预测出下一阶段动作序列\(b\)。其中可以看作，\(a\)的后半段动作，与\(b\)的前半段动作是重叠的。

其中这部分条件预测，在训练时就要求模型采样一个d，将动作序列的前d个动作作为条件进行后续预测，提前训练过了。

这样\(a\)和\(b\)就可以拼接起来以降低动作延迟。

和人形机器人相关的灵巧任务

一个单一的人类操作员，

穿戴头部VR，手追踪器，腰部、脚部追踪器，进行数据收集。

使得需高灵巧性任务的数据能够方便的，无遮挡的收集。

用于后续的训练。

训练+数据分析

首先对于VLM模型，在EgoDex上的800+小时人类第一视角数据进行训练，以捕获视觉语言操作能力。

其中对于人类与机器人数据迁移转化的问题，直接通过另一维度方法进行思考处理：拆掉VLM的动作头，保留它的“理解能力”，而对应于机器人部分的执行能力则交由MM-DiT。

然后冻结VLM，对于MM-DiT，使用Humanoid Everyday的30+小时真实机器人操作数据进行训练。

最后对于下游任务，使用自己通过灵巧任务收集的数据进行微调。

总结

论文提出的其中一个主要思想，训练数据不在于你拥有多少，而在于你如何高效的使用它们。
（就像海量的人类第一视角数据，通过一个巧思，可以将其高效的运用）

官方地址在这里：👋