OpenWAM: An Open, Modular Exploration Towards Systematic World–Action Model Pretraining 论文翻译

OpenWAM: An Open, Modular Exploration Towards Systematic World–Action Model Pretraining

作者： Yuran Wang、Siqiao Huang、Mingleyang Li、Chenhao Zhang、Jiaqi Liang、Weiyang Jin、Yue Chen、Xuemin Chi、Zhen Yuan、Donghao Zhou、Qize Yu、Yu-Kai Wang、Yuhan Rui、Shenzhe Yao、Zhenhao Shen、Kefei Zhu、Zijie Zhu、Ning Gao、Xiaowei Chi、Guanqi He、Hao Dong、Lin Shao、Shanghang Zhang、Hang Zhao 等（新加坡国立大学、清华大学、北京大学、香港大学、浙江大学、香港中文大学、上海交通大学）

译者： Yiyang Yuan

论文： arXiv:2609.07398v1 [cs.RO]，2026 年 9 月 7 日
项目主页： https://openwam-official.github.io/
代码： https://github.com/OpenWAM-Official/OpenWAM
模型与数据： https://huggingface.co/OpenWAM

---

摘要

世界–动作模型（World–Action Model, WAM）从视频生成先验中继承世界知识，并通过具身经验把这些知识转化为可执行的控制信号。然而，现有的系统大多是单体式的：生成式骨干网络、视觉表征、架构、信息流、推理过程与训练数据被紧密耦合在一起，使得"哪些设计选择重要、以及为什么重要"被遮蔽。

我们提出 OpenWAM，一个开放的研究栈，把世界–动作预训练转变为一项受控的实验计划。OpenWAM-Infra 将 WAM 的设计空间分解为可组合的模块，并提供统一的训练、推理、部署与评估。在这一基础之上，OpenWAM-Study 通过受控实验考察三个问题：应当继承什么、世界与动作学的学习如何交互、以及这种协同如何随规模扩展；并提炼出三条原则：

1. 上游知识通过足够强的生成式骨干以及紧凑且信息丰富的潜在空间来传递；
2. 世界–动作协同需要专门的行动容量、显式的世界到动作信息流，以及同步的联合去噪；
3. 具身预训练主要改善域外（OOD）泛化；而一阶段联合训练第一人称人类数据与机器人数据，能够同时整合世界覆盖与行动接地。

组合这些原则，我们构建了 OpenWAM-α：一个在约 6,400 小时的第一人称人类数据与机器人数据上预训练的开放 WAM，并在仿真与真实世界基准上进行了评估。在八个仿真基准与真实机器人实验中（合计覆盖从单臂、双臂操作到灵巧手的多种本体），OpenWAM-α 都交付了持续出色的性能，从仿真到物理世界都保持在第一梯队。我们发布完整技术栈，包括基础设施、评估协议、预训练模型与数据配方，以期促进后续研究。

图 1 OpenWAM 总览。OpenWAM-Infra（左）把世界–动作建模分解为可组合模块，并统一训练、部署与评估；OpenWAM-Study（中）通过受控问题求解设计空间，并蒸馏出一份预训练配方；OpenWAM-α（右）在 518.5M 帧第一人称与机器人数据上预训练，从仿真到真实世界都保持顶级性能。

---

第1章 引言

"知是行之始，行是知之成。"

——王阳明，《传习录》

智能不仅仅意味着认识世界：一个具身智能体必须预见世界将如何变化，并行动以带来期望的变化。现代视觉与视觉–语言模型已经从大规模图文数据中学到了丰富的语义表征（Radford et al., 2021; Caron et al., 2021; Tong et al., 2024）。视频生成模型更进一步，学会了合成视觉世界可能如何随时间演化（Ho et al., 2022; Brooks et al., 2024）。然而，一个具身系统不仅要学会世界上可能发生什么，还要学会它可以采取什么动作让这些事发生。

这一区别揭示了具身学习中一个根本性的数据不对称：世界变化的视频是充裕的，而带有可执行动作标签的机器人轨迹相对稀缺（Ye et al., 2026d）。早期的 ACT（Zhao et al., 2023）与扩散策略（Diffusion Policy, Chi et al., 2025）等方法，基本上仅从机器人示范中同时学习视觉规律与控制。更近一些的视觉–语言–动作（Vision–Language–Action, VLA）模型（Brohan et al., 2023; Kim et al., 2024; Black et al., 2024）则转从预训练的视觉–语言模型继承语义与语言知识。世界–动作模型（WAM）（Pai et al., 2025; Ye et al., 2026c; Li et al., 2026b）提供了另一种"热启动"：它们从视频生成预训练中继承关于视觉动态的生成式先验，并通过具身经验对其加以适配。由于视频生成本质上就是在建模时间演化，它为"动作如何与物理变化相互作用"的学习提供了一个直接的起点。在这个意义上，一个 WAM 从视频生成先验中继承世界知识，然后通过具身经验学会在这个世界中如何行动。

然而，WAM 的前景并不只是"用视频模型初始化一个策略"或者"给视频生成器接一个动作头"。它的核心假设是：世界预测与动作生成能够协同（synergy） 学习——世界建模提供关于状态、动力学与可能未来的结构化知识，用以指导动作；而动作学习则让模型把注意力聚焦到对控制真正重要的变化上。但要真正实现这种协同并不容易：有用的知识可能位于上游视频模型的不同部位；名义上"联合"的世界与动作预测可能仍然缺乏有效的信息通路；而一个在某个训练域上奏效的设计，换到新场景或新本体后未必还能保持优势。这些挑战引出了三个核心问题：

问题 1：一个 WAM 应当继承什么样的世界知识？
问题 2：我们如何建立世界学习与动作学习之间的协同？
问题 3：这种协同如何跨域扩展？

在现有的单体式系统上回答这些问题非常困难——生成式骨干、视觉表征、模型架构、信息流、推理流程与训练数据的组成往往被紧紧耦合在一起（Kim et al., 2026b; Bi et al., 2026; Zhang et al., 2026b）。因此我们提出 OpenWAM，一个用于系统性开发世界–动作模型的开放研究栈。OpenWAM-Infra 把 WAM 设计空间分解为模块化组件，同时提供跨域、跨本体统一的训练、推理、部署与评估（第 3 章）。这种模块化把世界–动作建模从"一堆相互耦合的实现选择"，变成了一项受控的实验计划。

在这一框架之上，OpenWAM-Study 研究世界–动作模型背后的设计原则（第 4 章）。我们的研究得到三项主要发现：

其一，上游世界知识最有效的传递方式，是经由一个足够强的生成式骨干与一个紧凑、信息丰富的视觉潜在空间。

其二，世界–动作协同不会仅凭参数量或"联合预测"自动涌现。它最好由三个条件促成：足够的行动专属容量、显式的世界到动作信息流，以及联合的测试时去噪调度。

其三，具身预训练主要改善的是域外泛化，而非域内拟合：第一人称人类视频拓宽世界覆盖，机器人轨迹提供可执行的行动知识，而二者的联合训练在我们的实验中给出了最强的实践整合策略。

综合来看，这些发现提示了一条从继承世界知识，到使世界–动作协同成为可能，再到把这种协同跨域扩展的实用配方。

最后，我们把得到的设计原则组合成 OpenWAM-α，一个开放的预训练世界–动作模型（第 5 章）。借助统一的 80 维动作空间，OpenWAM-α 在 518M 帧（约 6,400 小时）的第一人称人类数据与机器人数据上完成预训练，表明从受控设定中蒸馏出的配方在跨异构数据、跨域、跨本体的放大场景下依然有效。它在覆盖五类本体的八个仿真基准上给出持续强劲的结果，并在单臂、双臂与灵巧手平台的真实机器人实验中保持了这一地位。除了分数本身，这些大规模评估还进一步提炼出了关于具身基础模型设计与规模化行为的洞见。为了让社区能够复现并扩展这些发现，我们随模型一起发布了完整技术栈：基础设施、评估协议、预训练权重与数据配方。

总结而言，我们的主要贡献如下：

• OpenWAM-Infra：面向世界–动作建模的模块化基础设施。 它把模型、表征、训练、推理、部署与评估的选择分解开来，支持在不同 WAM 设计与不同本体之间进行受控比较（第 3 章）。
• OpenWAM-Study：世界–动作协同的设计原则。 通过对上游先验、架构容量、信息流、去噪与多域预训练的受控研究，我们识别出世界知识如何与动作学习产生有效交互（第 4 章）。
• OpenWAM-α：一个预训练的世界–动作模型。 它把推导出的原则实例化并规模化，成为一个开放模型，用于评估跨域、跨本体的泛化性与效率（第 5 章）。

---

第2章 相关工作

世界–动作模型。 世界模型（LeCun et al., 2022; Ha & Schmidhuber, 2018）从观测中学习预测性结构，并长期支撑着基于规划的控制（Zhou et al., 2024; Maes et al., 2026; Huang et al., 2026）、基于模型的强化学习（Hafner et al., 2019; M. Moerland et al., 2023）以及策略评估（Huang et al., 2025; Wang et al., 2026b）。世界–动作模型（WAM）（Ye et al., 2026c; Pai et al., 2025; Li et al., 2026b）则通过直接充当策略模型，把这种预测能力与可执行行为更直接地连接起来。VLA 模型（Brohan et al., 2023; Kim et al., 2024; Black et al., 2024）主要从视觉–语言预训练中继承语义与语言知识（Beyer et al., 2024; Bai et al., 2025），而 WAM 从视频生成先验初始化，使动作学习从一开始就拥有丰富的视觉动态先验（Wan et al., 2025; Ali et al., 2025）。然而现有系统在很大程度上仍是单体式的：模型架构、训练流程、数据配方与采样调度的变化往往相互耦合。因此，究竟哪些组件在传递世界知识、哪些交互创造了世界–动作协同、哪些收益能够跨域保持，仍然不清楚。OpenWAM 把这些耦合的选择暴露为受控变量，并围绕上述三个问题加以组织。

面向通用机器人策略学习的开放研究生态。 开放模型与代码库让通用机器人学习变得越来越可及。OpenVLA（Kim et al., 2024）确立了一个开放权重的预训练基线，StarVLA（Community, 2026）提供了一个模块化、性能良好的平台以支持多样的设计选择。StarVLA-α（Ye et al., 2026b）以极简设计的预训练模型补充了这种广度，XPolicyLab（Community et al., 2026）则为策略评估与部署贡献了一套统一标准与开放生态。这些工作显著降低了 VLA 研究社区的开发复杂度；然而在 WAM 社区，这样的开放研究生态基本缺席。一个配以强预训练模型的模块化系统，将有助于研究的民主化，也能成为理解并规模化世界–动作模型预训练的原则性基础。

走向对模型设计的科学理解。 越来越多的工作把模型设计当作一门经验科学（Allen-Zhu, 2026; Karras et al., 2022; McKinzie et al., 2024; Liu et al., 2022; Wen et al., 2026）：把复杂系统分解为受控变量，检验观测到的收益背后的机制，推导出配方，并验证它在放大后是否依然成立。在多模态学习中，Cambrian-1（Tong et al., 2024）与 Beyond Language Modeling（Tong et al., 2026）系统性地研究了视觉表征、模态专属容量、数据组成与统一预训练；Towards Physics of Multimodal Pretraining（Han et al., 2026）进一步分离了知识流动、协同与竞争、以及模态统一的时间点。在机器人学习中，围绕 Action Chunking（Simchowitz et al., 2025; Zhang et al., 2025b; Lazzati et al., 2026）与生成式控制策略（Pan et al., 2026）的分析实质上重塑了社区对这些主题的理解。在数据与系统层面，Large Behavior Models（Barreiros et al., 2026）、LBM co-train（Lin et al., 2026a）、StarVLA-α（Ye et al., 2026b）与 OpenHLM（Hu et al., 2026）同样使用受控比较来研究多任务迁移、异构监督、动作设计与本体接口。OpenWAM 把这一方法论带到了 WAM 上：OpenWAM-Infra 搭建受控实验的基底，OpenWAM-Study 把它们转化为关于继承、协同与规模化的受控科学问题，而 OpenWAM-α 在异构多域预训练下放大所得配方。

---

第3章 OpenWAM-Infra：面向世界–动作建模的模块化基础设施

现有的世界–动作模型在架构与基础设施实现上差异很大，且没有共享标准；由于每个系统都围绕单一模型设计构建，其模型、训练、服务与评估组件也各自以不同的方式组织，并且往往紧密耦合。这带来两个问题：1) 这样的代码库难以被用户扩展或在其上继续构建；2）组件之间的耦合会让模块彼此干扰，从而使受控比较得出的结论被混淆。OpenWAM-Infra 通过把世界–动作建模分解为四个解耦的、具有显式接口的组件来解决这两个问题：一个从可互换的编码器、流式骨干与可见性注意力掩码组装而成的可组合模型（3.1 节）；一个用同一个 trainer 训练所有此类模型的训练运行时（3.2 节）；一个通过同一个策略服务器服务所有产出检查点的部署运行时（3.3 节）；以及一个让每个基准都能接入该服务器的评估协议（3.4 节）。这些组件要么相互独立，要么由严格的单向依赖相连，这使得代码库易于扩展，使模块之间相互隔离，并进一步为 OpenWAM-Study（第 4 章）开展受控实验与 OpenWAM-α（第 5 章）的规模化实例化提供了基底。

3.1 可组合模型

图 2 OpenWAM 模型基础设施。上：三类可互换模块——视觉编码器 E（左）、流式骨干 S（中）、可见性注意力掩码 M（右）。中间的 Training Utils 面板概括了训练运行时的工具（3.2 节）。下：组合规则 C 把这些模块组装为 Single-System、Dual-System 与 Tri-System 三个家族中的六种架构变体。

如图 2 所示，OpenWAM-Infra 把一个世界–动作模型（WAM）组织为三类可互换模块，它们由组合规则 C 组装成一个具体架构，写作 C(E, S, M)：

• 视觉编码器 E：把观测映射为世界流所预测的潜在序列；
• 流式骨干 S：处理模型的各条 token 流——世界流 W、动作流 A，可选的理解决流 U，以及设计可能引入的任何其他流；不同的流可以共享同一个骨干；
• 可见性注意力掩码 M：规定各条流与各 token 之间的注意力关系，即哪些 token 可以关注哪些 token，既包括流内也包括跨流。

视觉编码器。 编码器 E 把观测映射为世界流所预测的潜在序列，并且始终保持冻结；不同的编码器在潜在空间中捕获不同的信息，从而诱导出不同的世界流行为。在大多数情况下，视频骨干会伴随一个与其原生匹配的编码器，此时基础 DiT 的预训练参数会被直接复用，从而完整保留预训练带来的收益。除这一默认情形之外，OpenWAM-Infra 还支持可插拔编码器：替换 E 会改变待预测的潜在表征，同时基础 DiT 也可以被重新初始化，以排除预训练参数的影响。目前，OpenWAM-Infra 提供两个以像素重建为目标训练的重建式编码器：Wan2.2-VAE（Wan et al., 2025）与 FLUX.2-VAE（Black Forest Labs, 2025）；以及两个表征编码器（Zheng et al., 2026a）：DINOv3（Siméoni et al., 2025）与 V-JEPA 2.1（Mur-Labadia et al., 2026），外加一个可选的 S-VAE（Zhang et al., 2025a）模块用于压缩潜在维度。这些能力共同支撑了 4.1.2 节对视觉表征的研究。

流式骨干。 S 中的骨干布局见图 2 的中央面板及其周围。视频骨干（W）预测未来世界视觉状态的时间演化，动作骨干（A）预测即将到来的动作块（action chunk，Zhao et al., 2023）；二者共同构成模型的世界–动作核心。可选的 VLM 骨干（U）为这个核心补充对当前观测的语义理解。除此之外，骨干名册本身是可扩展的：可以注册更多骨干来执行设计可能引入的任何额外流。无论何种类型，每个骨干都通过同一套代码契约执行，该契约把它的前向过程分解为三个阶段：

• prepare：在堆栈之前调用一次，把输入嵌入为初始 token 状态；
• 逐层 block step：每层调用一次，让该状态通过一个 transformer 层推进；
• finalize：在堆栈之后调用一次，把最终状态映射为该流的预测。

每一层还可以把它的 block step 进一步拆分为注意力前半边（产生该层的 queries、keys、values）与注意力后半边（消费注意力输出），这样两半之间的注意力就可以跨流联合计算。

对于视频骨干，OpenWAM-Infra 支持五个参数量递增的预训练视频生成模型，即 Wan2.1-VACE-1.3B、Cosmos-Predict2.5-2B、Cosmos3-Edge-4B、Wan2.2-TI2V-5B 与 Wan2.1-I2V-14B（Wan et al., 2025; Ali et al., 2025）。对于 VLM 骨干，目前只支持 Qwen3-VL 系列（Bai et al., 2025）。对于动作骨干，提供两种选择：一组独立存在于 ActionDiT 中的参数，或共享视频骨干——此时动作 token 加入视频 token 序列并与之联合处理。

可见性注意力掩码。 掩码 M 通过混合自注意力来治理信息流，各条流正是依靠它交互：它被分解为模态内（intra-modality）与跨模态（cross-modality）两类区块，在 token 相互增强处授予注意力，在相互影响必须被隔离处扣留注意力。在视频与动作两个模态上，这种分解写作

\[M = \begin{pmatrix} M^{V \leftarrow V} & M^{V \leftarrow A} \\ M^{A \leftarrow V} & M^{A \leftarrow A} \end{pmatrix}, \tag{1} \]

其中区块 \(M^{X \leftarrow Y}\) 规定模态 X 的 token 是否可以关注模态 Y 的 token。OpenWAM-Infra 固定两个模态内区块：\(M^{V \leftarrow V}\) 采用首帧因果注意力，即带噪帧之间互相关注、并共同关注干净的首帧，而干净首帧只关注自身，从而把干净条件与噪声隔离开来；\(M^{A \leftarrow A}\) 采用双向注意力，即一个动作块内部各带噪动作 token 相互可见，使被预测的动作彼此告知。两个跨模态区块随后定义了 OpenWAM-Infra 支持的四种注意力掩码模式，如图 2 右侧面板所示：mutual（相互）同时启用 \(M^{A \leftarrow V}\) 与 \(M^{V \leftarrow A}\)，两个模态相互关注；action-sees-video（动作看视频）只启用 \(M^{A \leftarrow V}\)，让动作读取被预测的世界，而不打扰视频生成；video-sees-action（视频看动作）只启用 \(M^{V \leftarrow A}\)，方向相反；isolated（隔离）两者都不启用，两个模态独立去噪。基于这种原生支持，4.2.2 节之后会在受控设定下比较这些模式。

架构。 组合规则 C 规定信息在何处、以何种方式跨流流动，并且完全通过上面的执行契约来实现：它对参与其中的各骨干的 prepare、逐层 block 与 finalize 阶段进行排序；当交互必须发生在注意力内部时，它把 block step 拆分为注意力前与注意力后两半，以替换掉注意力计算本身，而从不修改骨干内部实现。因此组合规则本身不携带任何参数：所有可学习容量都驻留在流式骨干里。一个具体架构就是一个选择 C(E, S, M)；目前支持的设计分为三个家族，在图 2 最下一行从左到右排列。

• Single-System（单系统）。 该家族只包含视频骨干：动作骨干采用共享形式，把它的 token 注入视频序列，因此一个 transformer 处理两个模态，绝大部分参数共享；代表性系统包括 Cosmos Policy（Kim et al., 2026b）与 DreamZero（Ye et al., 2026c）。OpenWAM-Infra 提供两个变体，差别在于模态专属容量：
  • Vanilla：把视频、动作与本体感受 token 作为同一条序列，经同样的注意力与稠密前馈块处理，不提供任何模态专属容量。
  • MoE：保留共享序列与自注意力，但把动作 token 硬路由到一个专用的前馈专家，而视频 token 走默认路径，从而在不分离两条流的前提下增加模态专属容量（Mu & Lin, 2025）。
• Dual-System（双系统）。 该家族包含一个独立的视频骨干与一个动作骨干，后者是专门的 ActionDiT：两条流持有各自的参数集合，并通过自注意力或交叉注意力连接；代表性系统包括 Fast-WAM（Yuan et al., 2026b）与 LingBot-VA（Li et al., 2026b）。OpenWAM-Infra 提供三个变体，差别在于两条流的通信方式：
  • Joint self-attention（联合自注意力）：在指定的桥接层把两条流的隐状态合并为一条联合序列，允许 token 级双向交互，随后状态再回到各自的流。
  • Joint cross-attention（联合交叉注意力）：在桥接层让动作流通过 video-to-action 交叉注意力查询视频特征，端到端训练，因此动作学习的梯度会更新视频流；可选地在视频特征处 detach 梯度，以把动作学习与视频参数更新隔离开来。
  • IDM：把动作模块表述为以视频特征为条件的逆动力学模型（inverse dynamics model），用 teacher-forced 的视频状态训练，推理时分为两个阶段：先生成视频轨迹，再据此预测动作。
• Tri-System（三系统）。 该家族在双系统布局上增加一个 VLM 骨干：一个冻结的视觉–语言模型馈入一条独立的、可训练的理解流；代表性系统包括 Motus（Bi et al., 2026）。OpenWAM-Infra 提供一个变体：
  • Joint self-attention：把联合序列扩展到全部三条流，它们在保留各自专属参数的同时交换信息；理解决的加入方式是一条只读尾巴，其他流可以关注它，而它只关注自身。

在每个架构 C(E, S, M) 之内，每个模块（视觉编码器、流式骨干、可见性注意力掩码）都从注册表中实例化，与组合规则正交：每种组合都通过配置组装，且无论是 trainer 还是策略服务器都不需要知道当前运行的是哪种架构。

3.2 训练运行时

训练表述。 OpenWAM-Infra 用同一个 trainer、面向同一份样本契约与同一个联合流匹配（flow matching）目标，训练每一种架构。trainer 从不检查架构内部：它要求所选架构自行准备输入并执行前向，然后在得到的预测上优化目标。定义样本为 (\(\ell\), \(o_{1:T}\), \(a_{1:H}\), \(q\), \(m\))，分别对应语言指令、视频窗口、动作块、可选的本体感受状态，以及一个逐维度的有效性掩码。在输入准备阶段，架构的视觉编码器 E 把 \(o_{1:T}\) 编码为潜在变量 \(z\)，而 \(\ell\)（可选地与 \(q\) 合并）成为上下文 \(c\)。全文约定 \(t=0\) 表示纯噪声，\(t=1\) 表示干净数据。每条流被加噪到它自己的时间步：视频为 \(t_v\)，动作为 \(t_a\)，得到插值变量 \(z^{t_v} = t_v z + (1-t_v)\epsilon_v\) 与 \(a^{t_a} = t_a a + (1-t_a)\epsilon_a\)，其中 \(\epsilon_v, \epsilon_a\) 为高斯噪声；架构的一次联合前向 \((\hat{v}_z, \hat{v}_a) = v_\theta(z^{t_v}, a^{t_a}, t_v, t_a, c)\) 同时预测两个速度，目标为

\[L = \lambda_v \mathbb{E}_{t_v,\epsilon_v}\left[w(t_v)\|\hat{v}_z - (z-\epsilon_v)\|_2^2\right] + \lambda_a \mathbb{E}_{t_a,\epsilon_a}\left[w(t_a)\|m \odot (\hat{v}_a - (a-\epsilon_a))\|_2^2\right], \tag{2} \]

其中 \(\lambda_v, \lambda_a\) 与 \(w(\cdot)\) 为各流与各时间步加权，而有效性掩码 \(m\) 把动作项限制到该本体真正填充的坐标上，同时干净的条件帧被排除在视频项之外。由于 \(t_v\) 与 \(t_a\) 是独立采样的，训练覆盖整个 \((t_v, t_a)\) 噪声平面；任何推理调度——无论是让两条流在同一时间步同步去噪，还是让其中一条流领先于另一条异步去噪——都只会在该平面上走出一条路径，因而始终处于分布之内。

训练工具。 如图 2 中央的 Training Utils 面板所示，三个核心工具体系支撑着 OpenWAM-Infra 的训练：

1. 框架：OpenWAM-Infra 通过 Accelerate 集成 DeepSpeed ZeRO（stage 1 或 2），并支持混合精度（默认 bf16）、梯度累积与梯度裁剪；单一入口即可从单卡运行扩展到多节点任务。
2. 内存优化：为降低显存消耗，OpenWAM-Infra 提供梯度检查点（gradient checkpointing），并可选地把被检查点的激活卸载到 CPU，以及把优化器状态卸载到 CPU。
3. 工作流：OpenWAM-Infra 支持三种训练工作流。预训练（Pretraining） 开启一次全新运行。微调（Fine-tuning） 从既有检查点初始化一个全新运行：架构依据检查点自身的记录重建，新配置叠加在其上，而权重所归属模块的身份会被保护、不被覆盖。续训（Resume） 精确地继续同一次运行：完整的优化器与调度器状态被恢复，训练在记录的位置重新进入数据流，并且如果数据集归一化统计与运行记录不一致，该次运行会拒绝继续。

自包含检查点。 一个自包含检查点由三部分组成：模型权重、完全解析后的配置（其中合并了每个模块的重建规格以及 tokenizer 等产物）、以及动作归一化统计。微调、续训与部署都会先依据这份记录重建架构，再加载参数；在部署时，缺失归一化记录是一个硬错误。因此，一次评估不可能悄悄地改变编码器、动作布局或已训练模型的缩放关系，而检查点也正是部署运行时实际服务的内容。

3.3 部署运行时

每个检查点都由同一个策略服务器服务，它依据自包含记录重建架构，并使两个选择保持正交：推理何时运行（推理模式），以及两条流如何被去噪（去噪调度）。图 3 分别在 (a) 与 (b) 两个面板中说明了这两个选择。

图 3 部署运行时的推理模式与去噪调度。(a) 同步与异步推理模式的示意图。(b) 三种去噪调度（方差偏移 variance shift、线性偏置 linear offset 与同步 sync）的示意图；图中以五步去噪为例，同色圆圈表示两条模态在同一步去噪中到达的时间步。

推理模式。 OpenWAM-Infra 在统一的缓冲机制之上提供两种推理模式（图 3(a)）：每次推理产出一个动作块并放入缓冲，服务器每收到一次请求弹出一个动作。在同步（synchronous）推理下，一旦缓冲为空，服务器就会阻塞等待一次新的推理，于是执行的停顿时间等于推理时延。在异步（asynchronous）推理下，设 H 为预测块的长度，\(n \le H\) 为推理视野（horizon），\(d < n\) 为以步计的领先阈值（默认取 \(n/2\)）。一旦缓冲中只剩 d 个动作，一个后台工作线程便预取下一个块，而那些动作继续执行。随后被采用的块按顺序被拆分为：一个由 d 个动作组成的延迟（delayed）前缀——它们在推理运行期间已由先前的缓冲覆盖，因此被跳过；一个由接下来的 n 个动作组成的执行（executed）窗口，它成为新的缓冲；以及剩余 \(\max\{H-d-n, 0\}\) 个动作构成的丢弃（discarded）尾部。两种模式对客户端是不可区分的：每次请求都是"一个观测进、一个动作出"。

去噪调度。 一个去噪调度是联合噪声平面上的一条路径 \(\tau = \{(t_v^i, t_a^i)\}_{i=0}^{N}\)，其中 \(t^0 = 0\) 为纯噪声，\(t^N = 1\) 为干净数据（与 3.2 节一致）；图 3(b) 画出了 OpenWAM-Infra 支持的三种调度。在 sync 调度下，两条流沿对角线同步推进：每一步执行一次联合前向，以及一次耦合的 Euler 更新，其中每条流按自己的时间步增量移动；视频潜在变量 \(z\) 依 \(z^{t_v^{i+1}} = z^{t_v^i} + (t_v^{i+1} - t_v^i)\hat{v}_z\) 更新，动作块 \(a\) 依 \(a^{t_a^{i+1}} = a^{t_a^i} + (t_a^{i+1} - t_a^i)\hat{v}_a\) 更新。异步调度则让其中一条流领先，通过两个可组合的族来实现（Baade et al., 2026）：

\[f_\alpha(s) = \frac{\alpha s}{1 + (\alpha - 1)s}, \qquad h_o(s) = \max\left\{\frac{s - o}{1 - o}, 0\right\}, \tag{3} \]

其中 \(s = i/N\) 表示全局进度，方差偏移 曲线 \(f_\alpha\) 在 \(\alpha > 1\) 时把领先流抬到对角线之上，使其更早到达干净数据；线性偏置 \(h_o\) 则把落后流保持在纯噪声，直到全局进度超过 \(o\)。把领先权交给世界流或动作流，分别得到 video-lead（视频领先） 与 action-lead（动作领先） 两种机制；而 \((\alpha, o) = (1, 0)\) 精确地还原了同步对角线：同步服务只是一个特例，而不是一条独立的代码路径，每一次异步运行都有一个对齐的基线。由于训练独立采样两个时间步（3.2 节），每一条这样的路径都处于分布之内。与调度形状无关，每条流的时间步 warp 都是存储在检查点中的骨干属性，并在推理时复用，因此训练与服务的噪声网格不会漂移。

加速。 OpenWAM-Infra 提供四项服务端加速，每一项都可独立配置。

• 提示词嵌入缓存（Prompt-embedding cache）：一个服务器生命周期的缓存把每个提示词映射到其文本编码器嵌入，从而把文本编码器从每次请求的路径中移除。
• 视频解码跳过（Video-decode skip）：控制只消费动作而非像素，因此服务路径可以完全跳过 VAE 视频解码。
• 编译（Compilation）：每种架构为其内部联合去噪循环注册一条固定形状的 torch.compile 路径，并在 CUDA graphs 下回放，以消除逐层的启动开销；首个请求承担编译预热。
• DiT 速度缓存（DiT velocity cache）：当两条流最近的速度预测都相似度稳定（余弦相似度高于阈值）时，跳过下一次联合前向，改为直接积分缓存的速度，并对连续跳过的次数设定上界；这沿用了 Ye et al. (2026c) 的跨步复用。

图 4 各架构的服务时延。以 Wan2.2-TI2V-5B 作为视频骨干、在 RTX 5090 上测得的推理时延。提示词嵌入缓存与视频解码跳过默认启用；图中做了编译与 DiT 速度缓存的消融。

以 Wan2.2-TI2V-5B 作为视频骨干，图 4 展示了在不同架构上由此得到的推理加速效果。

3.4 评估协议

OpenWAM-Infra 通过 3.3 节的策略服务器评估训练好的检查点：每个基准作为客户端接入，发送观测，并执行服务器返回的动作，如图 5 所示。

图 5 OpenWAM-Infra 的评估协议。各基准以瘦客户端的形式通过 WebSocket 接入策略服务器。服务器对每个观测进行规范化，把本体感受状态映射到模型侧的动作表示（80 维统一动作空间或基准自身的原生动作空间），并在返回动作前把预测的动作块反归一化回原生物理单位。

客户端–服务器流水线。 各基准以瘦客户端的形式、通过一条持久 WebSocket 连接接入部署运行时，不导入模型或训练栈中的任何内容。在第 k 个控制步，客户端发送观测 \((o_k, \ell, q_k)\)：最多三个相机视角 \(o_k\)（头部视角必需，腕部视角可选）、语言指令 \(\ell\)、以及可选的原始机器人状态 \(q_k\)。响应是单个动作 \(a_k\)，采用机器人原生的物理单位。所有面向模型的转换都在服务端完成，并由 3.2 节的自包含检查点驱动：如图 5 所示，各视角被裁剪、缩放并组合成检查点训练时所用的规范图像布局（缺失相机以黑帧填充），而 \(q_k\) 被归一化并映射到下面定义的模型侧动作表示。此后，在 3.3 节服务栈下的推理产出模型空间的动作块 \(\hat{a}_{1:H}\)，它在回填动作缓冲（服务器据此响应请求）之前被映射回原生单位并反归一化；因此归一化后的数值永远不会到达机器人。在整个回合之间，一次 reset 请求会清除所有的回合级执行器状态。

基准套件。 OpenWAM-Infra 目前集成了八个仿真基准：LIBERO 与 LIBERO-Plus（Liu et al., 2023; Fei et al., 2025）、VLABench（Zhang et al., 2024）、RoboTwin2.0（Chen et al., 2025）、RoboDojo（Chen et al., 2026b）、RoboCasa365（Nasiriany et al., 2026）、RoboCasa-GR1（NVIDIA et al., 2025; Nasiriany et al., 2024）与 EBench（Gao et al., 2026），共同覆盖单臂与双臂桌面操作、灵巧手人形控制以及移动操作。由于该协议只交换图像、文本与动作向量，真实机器人平台与仿真器通过完全相同的接口接入。每个随附的适配器都复现其基准训练读取器的观测预处理，因此评估时的视角与训练分布一致；集成一个新基准，只需编写这样一个适配器，模型与两个运行时都无需改动。

动作空间定义。 动作以两种表示之一穿过这条流水线（图 5）。默认情况下，每个基准都保留其原生动作空间——例如 RoboTwin2.0 以 14 维关节空间或 20 维双臂末端执行器空间服务，而 LIBERO 使用 10 维末端执行器空间——因此在单一基准上训练的检查点可以直接透传动作。然而，跨本体训练一个模型，需要在一个原生布局在宽度与语义上都不一致的目标集合上使用单一动作头。因此 OpenWAM-Infra 还定义了一个具有固定槽位语义的统一动作空间 \(u \in \mathbb{R}^{80}\)：两个镜像的 34 维手臂块，每块由末端执行器位置（3）、6D 旋转（6）、夹爪（1）与灵巧手（24）组成，其后是 12 个保留槽位，用于承载 EBench 与 RoboCasa365 的移动底盘等本体专属通道。由于槽位语义固定，各本体共享的结构会落在相同的坐标上。每个数据集声明一个从原生维度到这些槽位的索引映射 \(\pi\)，归一化在 scatter 之前施加、并在 gather 之后求逆：

\[u = \mathrm{Scatter}_\pi(\mathrm{Norm}(a)), \qquad a = \mathrm{Norm}^{-1}(\mathrm{Gather}_\pi(u)), \tag{4} \]

而传入的本体感受信号以正向走同一张映射。式 (2) 中的有效性掩码 \(m\) 精确标记被映射到的槽位，因此在训练时未被映射的坐标不会收到梯度，在推理时它们保持在解析的噪声路径上。

---

第4章 OpenWAM-Study：世界–动作模型的设计原则

OpenWAM-Study 概览。 在 OpenWAM-Infra 的基底之上，我们通过受控实验系统性地分析世界–动作模型的设计原则。在本章中，我们首先在 4.1 节研究 WAM 应当如何继承上游世界先验，接着在 4.2 节理解如何在上游世界先验与动作学习之间建立协同，最后在 4.3 节检验哪些设计选择能够泛化到跨域具身预训练。

评估协议。 本章使用 RoboTwin2.0（Chen et al., 2025）作为评估环境，这是一个被广泛采用、覆盖 50 余个任务的双臂操作基准。在我们的实验中，评估在两种设定下进行：(1) 域内性能（RoboTwin2.0-Full）：沿用 Bi et al. (2026) 的做法，我们用完整的多任务数据语料训练模型——其中 2,500 条示范采集于干净场景、25,000 条采集于重度场景随机化条件下——并分别在干净与随机化环境下评估。(2) 域外泛化（RoboTwin2.0-Clean2Random）：沿用 Yuan et al. (2026a) 的做法，我们仅在干净数据上训练模型，再分别在干净与随机化环境下评估。由于训练混合从未见过随机化的场景配置，该设定可作为评估模型对新颖场景泛化能力的代理。我们以成功率（success rate）作为指标。

4.1 继承上游世界知识

本节聚焦以下问题：

问题 1： WAM 应当继承什么世界知识，以及如何最好地继承？

世界知识大体可以通过两条渠道继承：生成式世界先验与视觉表征先验。生成式世界先验指嵌入在视频生成骨干中的视觉与动力学知识，而视觉表征先验指视觉编码器所诱导出的表征空间（Radford et al., 2021; Caron et al., 2021; Wan et al., 2025）。

4.1.1 生成式世界先验

为了解生成式世界先验是否、以及在多大程度上促进 WAM 性能，我们比较了四个参数量不同的视频生成骨干：Wan2.1-VACE-1.3B（Wan et al., 2025）、Cosmos-Predict2.5-2B（Ali et al., 2025）、Wan2.2-TI2V-5B（Wan et al., 2025）与 Wan2.1-I2V-14B（Wan et al., 2025）。我们把世界–动作模型实例化为一个双系统（Dual-System）架构，由一个视频生成模块与一个动作生成模块通过联合自注意力连接，其中视频生成模块的参数从预训练视频生成模型复制而来。结果在 RoboTwin2.0-Full 上评估。

图 6 不同视频骨干规模下的 WAM 性能。随着视频生成骨干规模增大，所得 WAM 的性能持续提升。

在所测试的四个骨干中，所得 WAM 的平均成功率随视频生成骨干容量的提升而持续改善（图 6）。Wan2.1-I2V-14B 表现最佳，而 Wan2.2-TI2V-5B 仅落后它 1.40 个点，尽管前者的参数量几乎是后者的 3 倍。在四个骨干上权衡性能与训练、部署效率后，我们最终采用 5B 模型作为后续受控研究的默认选择。由于这些骨干在架构、预训练数据与目标上也不相同，这一比较确立了"骨干选择"是一个后果重大的设计变量，但不能把全部收益都归因于参数量本身。5B 的默认选择同时让后续动作侧的消融在继承的世界先验固定的前提下保持可操作。

4.1.2 视觉表征先验

世界知识的另一个重要来源是视觉编码器所诱导的潜在表征空间。大体而言，这些编码器分为两类：(1) 重建式编码器（Reconstructive Encoders）：其目标是压缩，仅用像素重建训练；(2) 表征编码器（Representation Encoders）：以自监督或多模态表征学习为基础，学习语义结构化的视觉特征，为视觉理解提供基础。受近期在生成与世界建模中使用表征编码器的进展启发（Zheng et al., 2026a; Singh et al., 2026; Zhou et al., 2024; Jha et al., 2026; Lyu et al., 2026），我们在世界–动作模型的语境下质疑潜在空间的设计。在这组实验中，我们从两类中各选取代表性编码器。重建式编码器方面，我们使用 Wan2.2-VAE（Wan et al., 2025），一个具备 4 倍时域压缩率的先进视频编码器，以及 FLUX.2-VAE（Black Forest Labs, 2025），一个在图像生成模型中被广泛使用的高级图像编码器。表征编码器方面，我们使用 DINOv3（Siméoni et al., 2025），即 DINO 的最新一代（Caron et al., 2021），一个通过自监督学习得到的经典视觉编码器；以及 V-JEPA 2.1（Mur-Labadia et al., 2026），一个基于联合嵌入预测架构的稠密特征编码器（LeCun et al., 2022）。

为了单独隔离视觉表征带来的性能增益，我们沿用 Wan2.2-TI2V-5B 的模型架构，但随机初始化其权重。为公平比较，我们对 FLUX.2-VAE、DINOv3 与 V-JEPA 2.1 施加与 Wan2.2-VAE 相同的 4 倍时域压缩：由于这些编码器本身都不做时域压缩，我们通过平均每四个连续帧的特征来施加这一 4 倍下采样。由于现代 Diffusion Transformer 架构（Peebles & Xie, 2023）主要是面向重建式编码器优化的，直接采用会产生高维潜在变量的表征编码器（例如 DINOv3 为 768 维特征、V-JEPA 2.1 为 1024 维特征）可能因为架构不兼容而导致性能不佳（Zheng et al., 2026a）。沿用 Jha et al. (2026) 的做法，我们为表征编码器引入一个变体：训练一个 S-VAE（Zhang et al., 2025a）适配器，把表征编码器产生的高维特征转换为更低维的向量（本实验中为 48 维，与 Wan2.2-VAE 的潜在维度一致）。

图 7 视觉表征先验。我们考虑用重建式编码器与表征编码器构建 WAM，并纳入一个带 S-VAE 的表征编码器变体——S-VAE 是一个把表征编码器产生的高维潜在变量转换为适合 DiT 处理的低维向量的适配器。

如图 7 所示，在 S-VAE 的帮助下，表征编码器可以为世界–动作建模带来与重建式编码器持平甚至更强的性能。具体来说，直接采用表征编码器的性能不如使用重建式编码器 FLUX.2-VAE 训练的模型；但在使用 S-VAE 做维度收缩后，表征编码器的收缩变体（DINOv3 w/ SVAE、V-JEPA 2.1 w/ SVAE）显著优于 FLUX.2-VAE。DINOv3 w/ SVAE 达到与 Wan2.2-VAE 近乎持平的性能，我们把剩下的微弱差距归因于 Wan2.2-VAE 的两项原生优势：它是一个专门适配视频骨干架构的重建式编码器，且其时域压缩是编码器原生学到的，而不是通过帧平均强加的。

综合来看，决定 WAM 潜在空间质量的关键，并不是"重建式 vs 表征式"这一类别划分，而是潜在变量本身的运行特性：紧凑性（在时域与 token 两个维度上）与丰富的世界信息。因此在时域压缩与维度收缩的帮助下，表征编码器中的先验同样可以被继承，用来构建高性能的 WAM。我们也鼓励后续研究去主动构建具备原生时域压缩能力的表征编码器，这有可能带来更好的先验继承。

发现 1： WAM 最有效地继承上游世界知识的方式，是通过一个足够强的生成式骨干与一个紧凑、信息丰富的视觉表征空间。重建式编码器并非唯一选择；具备维度压缩的表征编码器同样表现出色。

4.2 构建世界学习与动作学习之间的协同

继承正确的先验还不够：一个世界–动作模型需要在世界学习与动作学习之间建立协同。这需要系统在三个不同层面做出决定：行动专属容量存在于何处、训练期间有哪些跨模态信息通路可用，以及推理时是否保持了那些通路所依赖的噪声状态关系。

问题 2： 继承而来的世界知识应当如何与动作学习交互？

4.2.1 架构容量

世界–动作建模的一个核心问题是：一个 WAM 需要多少行动专属容量，以及它的视频流与动作流应当被分离到什么程度。3.1 节的三个架构家族恰好横跨这条容量轴，我们评估了它们的全部六个变体，并把联合交叉注意力分别实例化为端到端与在视频特征处 detach 梯度两种形式，共得到七条基线（表 1）。

表 1 架构消融。RoboTwin2.0-Full 上的平均成功率（%）。粗体表示最优值。

结果。 如表 1 所示，随着架构容量增加，性能从单系统到双系统、再到三系统持续提升。联合自注意力是最强的双系统变体，而三系统模型取得整体最佳性能。权衡性能与架构复杂度，并把世界知识与动作学习之间的交互从 VLM 理解特征的潜在影响中隔离出来，我们因此在后续实验中采用双系统联合自注意力，使得后续的发现只反映这一交互本身。

4.2.2 训练时的信息流

架构比较选定了联合自注意力作为世界流与动作流之间的接口，但仅凭联合注意力并不能规定哪种信息流能创造最佳协同。我们在训练时比较四种由注意力掩码控制的信息流策略：Isolated（隔离），无跨流通信；Video Sees Action（视频看动作），把动作特征暴露给世界流；Action Sees Video（动作看视频），把世界特征暴露给动作流；以及 Mutual（相互），同时启用两个方向。

图 8 注意力掩码策略。我们通过注意力掩码在训练时控制跨模态信息流。

表 2 动作学习需要访问世界信息。RoboTwin2.0-Full 上的成功率（%）。

这一比较可以干净地按"动作流能否访问世界特征"来划分（图 8 与表 2）。Isolated 与 video-sees-action 掩码的表现落后约五个点，而 action-sees-video 与 mutual 可见性都保持了强劲性能。因此在这一设定下，世界到动作的流动是必需的。相比之下，增加反向的动作到世界通路只让从零训练的结果发生微小变化，使 action-sees-video 与 mutual 可见性成为两个可行掩码，留待预训练之后再考察。

4.2.3 推理时的信息流

训练时的注意力掩码实现了完全掩码，而推理时的去噪调度提供了一道更柔和的信息闸门，即部分掩码。在本项消融中，我们固定 mutual 可见性，并以独立采样的噪声水平训练视频流与动作流，覆盖一个二维的联合噪声状态空间。

我们把 3.3 节的调度抽象实例化：同步去噪沿对角线 \((t_v^i, t_a^i) = (s_i, s_i)\)，而方差偏移与线性偏置两个族（式 (3)）则让其中一条流领先（Baade et al., 2026）。我们在两个领先方向上评估 \(\alpha \in \{4, 8, 16, 32\}\) 与 \(o \in \{0.2, 0.4, 0.6, 0.8\}\)。

图 9 通过去噪调度实现的推理时信息流。每条曲线描绘动作去噪进度对视频去噪进度。位于对角线上方/下方的曲线分别表示先对动作/视频去噪。

结果。 同步去噪表现最好，且无论哪条流领先、无论相对进度如何参数化，没有任何异步调度能改善性能（图 9）。在方差偏移调度下，视频领先优于动作领先；而在线性偏置调度下，动作领先优于视频领先。这表明：尽管训练时显式的视频到动作信息流是必要的，但通过推理时的去噪调度去强制施加这类先验并不会带来收益，这支持了世界–动作建模的表征学习假说（Yuan et al., 2026b），而非测试时"先规划、再 IDM"的隐式调度（Ye et al., 2026c）。

发现 2： 世界–动作协同需要在训练时显式的世界到动作信息流，以及推理时的同步联合去噪。我们因此带着"双系统联合自注意力 + 同步去噪"继续推进，并把单向与相互可见性之间的最终抉择推迟到预训练阶段。

4.3 跨领域知识整合

前面的研究确定了应当继承哪些世界先验，以及世界流与动作流应当如何交互。然而，强的单域性能本身并不能确立可迁移的世界–动作知识：模型可能只是拟合了目标任务的视觉与动作分布，而跨域预训练会把这一区别放大。机器人轨迹提供可执行的行动监督，但视觉覆盖有限；第一人称视频提供更广的视觉多样性，却缺少机器人动作标签。我们因此追问：预训练的收益来自何处，这两类来源应当如何组合，以及从零训练时确定的信息流选择在预训练之后是否依然成立。

问题 3： 世界–动作知识如何跨域整合与迁移？

4.3.1 问题设定与评估协议

受控迁移协议。 所有运行都固定骨干、优化预算与推理流程——即上文选定的双系统联合自注意力架构与同步去噪——只改变模型是否以及如何用本体数据进行预训练；信息流掩码则在最后的消融中重新考察。两套互补的协议服务于评估：RoboTwin2.0-Clean2Random 在干净数据上微调，并把干净条件作为域内（ID）、随机化条件作为域外（OOD）评估，从而暴露迁移能力；RoboTwin2.0-Full 在 RoboTwin2.0 完整训练集上微调，并报告两种条件下的平均成功率。

具身预训练数据混合。 我们在相同的 600 小时数据预算下，比较从零开始的监督微调与三种预训练策略，数据来自 EgoDex（Hoque et al., 2025）的第一人称人类视频与 RoboCOIN（Wu et al., 2025）的真实机器人操作轨迹。Robot-only 把全部 600 小时预算花在机器人数据上；两个混合变体把 350 小时第一人称数据与 250 小时机器人数据结合，分为两阶段（ego then robot）或一阶段联合（ego + robot co-train）。四个变体随后都经历相同的下游微调。

4.3.2 具身预训练主要扩展 OOD 泛化

图 10 具身预训练主要改善 OOD 泛化。RoboTwin2.0-Clean2Random 上的成功率，在每种评估设定内按性能从低到高排序。

预训练主要改善 OOD 泛化。 如图 10 所示，具身预训练对域内性能带来温和的增益，但在 OOD 评估中带来显著的性能提升。因此具身预训练主要贡献的是能够迁移到下游训练分布之外的知识，而不是更好地拟合一个已经饱和的 ID 基准。

机器人与第一人称数据贡献不同的优势。 Robot-only 预训练给出最强的 ID 性能，而两种混合策略在 OOD 上泛化更好。这一权衡与前述洞见一致：机器人轨迹强化可执行的行动接地，第一人称视频拓宽视觉与交互分布。

吸收第一人称视频：顺序 vs. 联合训练。 顺序训练与一阶段联合训练在域内与 OOD 评估中几乎持平，说明"同时使用两类来源"比它们的确切顺序更重要。一阶段联合训练在整体上略强，并且省去了一次额外的课程式切换，因此我们把它采纳为实践默认。

4.3.3 预训练改变偏好的信息流

从零训练的消融确立了动作流必须看到世界流，但让单向与相互可见性几乎打平。我们在跨域预训练之后、在 RoboTwin2.0-Clean2Random 与 RoboTwin2.0-Full 两种协议下重复这一比较。

具身预训练之后，相互可见性变得更可取。 没有具身预训练时，RoboTwin2.0-Full 略微偏好单向可见性；但在预训练之后，同一协议转而偏好 Mutual。RoboTwin2.0-Clean2Random 在 ID 与 OOD 上都显示出同样的反转，两个划分上的增益相当（图 11）。因此这一反转既不是域偏移的假象，也不是评估协议的假象：预训练把世界–动作交互变成了一次真正的双向交换——被预测的未来帧为动作生成提供视觉引导，而被预测的动作反过来又为这些帧中机械臂运动的合成提供信息。没有具身预训练时，数据稀缺很可能使两条流无法可靠地建立这种对应关系；而数量多得多的预训练数据补上了这个缺口，Mutual 也就随之兑现了它的优势。我们把 Mutual 带入最终配方。

图 11 预训练改变偏好的信息流。中心标记给出 Action Sees Video 的绝对成功率；箭头终止于对应的 Mutual 结果，水平位移报告 Mutual − Action Sees Video 的百分点差。绿色与红色分别表示增益与下降。

发现 3： 具身预训练主要扩展 OOD 泛化。机器人轨迹保持行动接地，第一人称视频拓宽迁移能力，一阶段联合训练有效地整合二者。在预训练规模下，相互的世界–动作可见性被一致地偏好。

4.4 小结

这三个问题把"继承而来的世界知识"转化为一份具体的模型设计：它不是一份"各自最优超参数"的清单，而是一个序列，其中每个决定都在前一个决定所创造的条件下被检验。下一章把这份默认方案组合成 OpenWAM-α，并追问它们能否在完整的、异构的大规模预训练中存活。

表 3 OpenWAM-Study 累积得到的配方。每个由证据支撑的选择都成为 OpenWAM-α 的默认配置。

---

第5章 OpenWAM-α：从原则到预训练模型

OpenWAM-α 概览。 受 OpenWAM-Study 揭示的设计原则与经验洞见驱动，我们把上述发现规模化实例化为 OpenWAM-α，一个开放的世界–动作基础模型，用于系统性地研究世界–动作模型在多样机器人任务上的能力与规模化行为。在 5.1 节，我们依据第 4 章建立的洞见，具体说明 OpenWAM-α 的最终架构、训练配方与部署方案。5.2 节随后详述预训练数据配置以及配套的数据清洗与整理流水线。最后，5.3 节在多样的仿真基准上评估 OpenWAM-α，并分析其性能以及这些评估所揭示的关键经验发现；5.4 节进一步在真实世界任务上评估它。

5.1 OpenWAM-α 的架构、训练与部署

如图 12 所示，从 OpenWAM-Study 蒸馏出的设计原则决定了 OpenWAM-α 在架构、训练与部署各阶段上的配置。下面逐段展开说明。

图 12 OpenWAM-α 总览。(a) 双系统架构：一个视频生成 DiT 与一个 ActionDiT 在 mutual 可见性掩码下，通过共享注意力联合去噪未来帧与动作块，二者各自通过交叉注意力以语言与本体感受为条件，并各自携带自己的噪声时间步。(b) 预训练混合：518.5M 帧（6,369 小时）的第一人称与机器人数据，在一阶段内联合训练。(c) 时间步采样：训练覆盖完整的联合噪声平面，而推理沿同步对角线进行。(d) 80 维统一动作空间，其固定槽位语义在各本体之间共享。

5.1.1 架构

OpenWAM-α 采用 OpenWAM-Study 收敛到的架构（表 3），并按 3.1 节的模块以组合 C(E, S, M) 组装：冻结的 Wan2.2-VAE 作为视觉编码器 E；预训练的 Wan2.2-TI2V-5B DiT（Wan et al., 2025）执行世界流，以及一个专门的 1B 参数 ActionDiT 执行动作流，二者通过联合自注意力耦合，作为流式骨干 S = {W, A}；以及采用首帧因果的视频内注意力的 mutual 模式作为可见性掩码 M。以当前观测 \(o_1\)（所有相机视角拼接为一张画布）、语言指令 \(\ell\) 与用统一动作空间表示的 \(q \in \mathbb{R}^{80}\) 本体感受状态为条件，OpenWAM-α 在潜在空间中联合去噪一个 T 帧视频窗口 \(o_{1:T}\) 的未来帧 \(o_{2:T}\)，以及一个连续动作块 \(a = a_{1:H} \in \mathbb{R}^{H \times 80}\)（Zhao et al., 2023）（图 12a）。

Tokenization 与上下文。 冻结的 Wan2.2-VAE 以因果方式编码 \(o_{1:T}\)——首帧单独编码，后续帧每四帧一组——得到 \(T' = 1 + (T-1)/4\) 个潜在帧 \(z\)，因此第一个潜在帧仍然是"当下"的干净锚点。（1, 2, 2）的 patch embedding 把潜在视频展平为宽度 3072 的世界流 token，并在 (帧, 高, 宽) 网格上携带 3D RoPE；H 个带噪动作步中的每一步被线性嵌入为一个宽度 1024 的动作流 token，并在块索引上携带 1D RoPE。冻结的 umT5 编码器把 \(\ell\) 映射为 4096 维上下文，一个线性投影追加 \(q\) 作为额外的上下文 token，两条流则通过各自的逐块交叉注意力消费所得上下文 \(c\)。

流的桥接与预测。 两个骨干的全部 30 个成对层都充当桥接层，在那里由各流自有的投影把两个残差宽度映射到 24 头 × 128 维的共享注意力空间；在配置的 M 下，两条流可以自由互读，而干净的首帧行既不关注带噪的未来帧，也不关注动作。AdaLN 注入每条流自己的去噪时间步——\(t_v\) 以 token 级方式注入世界流（首帧 token 被固定在干净端点 \(t_v = 1\)），\(t_a\) 注入动作流——线性头把两个最终状态解码为速度，从而在任意联合噪声状态 \((t_v, t_a)\) 上实现 3.2 节的联合前向；训练与推理各自如何覆盖这个平面，在 5.1.2 与 5.1.3 节说明。

5.1.2 训练

联合训练设定。 沿用 4.3 节确定的一阶段联合训练策略，OpenWAM-α 在 5.2 节的 ego + robot 混合数据上以一阶段端到端训练。视频 DiT（从预训练的 Wan2.2-TI2V-5B 权重初始化）、ActionDiT 与本体感受编码器都会被更新；只有 umT5 文本编码器与 Wan2.2-VAE 保持冻结。

统一动作监督。 异构本体在 3.4 节的统一动作空间相遇：一个具有固定槽位语义的 80 维向量，包含两个镜像的 34 维手臂块——末端执行器位置（3）、6D 旋转（6）、夹爪（1）与灵巧手（24）——其后是 12 个为本体专属通道保留的槽位（图 12d）。每个数据集把其原生动作与状态 scatter 到这些槽位中，式 (2) 的有效性掩码 \(m\) 把动作监督限制在被填充的坐标上，而窗口起始处的机器人状态为 \(c\) 提供本体感受 token。

目标与时间步采样。 OpenWAM-α 用式 (2) 的联合流匹配目标训练（Black et al., 2024），其中 \(\lambda_v = \lambda_a = 1\)，时间步权重 \(w(\cdot)\) 为在中等等级噪声处取得峰值的钟形函数。逐流时间步独立采样为 \(t_v = 1 - f_\rho(u_v)\) 与 \(t_a = 1 - f_\rho(u_a)\)，其中 \(u_v, u_a \sim U[0, 1]\)，式 (3) 的时间步 warp \(f_\rho\) 以 \(\rho = 5\) 同样作用于两条流，从而把采样偏向高噪声（图 12c）。

5.1.3 部署

同步去噪。 在测试时，OpenWAM-α 采用 4.2.3 节选定的同步调度：两条流沿联合噪声平面的对角线同步推进，在训练所用的 warp 上实现为 \(t^i = 1 - f_\rho(1 - i/N)\)，其中 \(\rho = 5\)、\(N = 10\) 步，因此没有哪条流领先。去噪从高斯噪声开始——第一个潜在帧被钳制到当前观测的编码，并在每一步之后重新钉住——每一步执行一次联合前向与 3.3 节的耦合 Euler 更新，因此动作块在全部 30 个桥接层上针对逐步变干净的世界特征被精炼，反之亦然。完成后的动作块通过式 (4) 的逆映射回到每个机器人的原生动作空间。

推理模式。 下文所有基准评估——无论仿真还是真实世界——都使用同步推理：一旦动作缓冲为空，执行就暂停，直到模型依据当前观测预测出一个新的动作块，随后机器人完全按预测执行该块。因此报告的结果以最直接的方式反映了模型自身的性能。

推理加速。 OpenWAM-α 通过 3.3 节的加速栈服务：联合去噪循环被编译为固定形状的图并在 CUDA graphs 下回放，稳定的速度预测在相邻步之间被复用，提示词嵌入被缓存，且控制路径中不运行任何 VAE 解码。N 步循环在 RTX 5090 上每块约需 170ms，完全落在实时控制预算之内。

5.2 多域预训练数据与整理

OpenWAM-α 在来自五个来源、跨三种数据类型的多域数据上预训练：第一人称人类数据、真实世界机器人数据与合成机器人数据。从一个 1.33B 帧（约 14,300 小时）的原始池出发，我们通过整理与按来源子采样构建了一个 518M 帧（约 6,400 小时）的训练集（表 4）。本节描述混合如何构成（5.2.1 节）以及各来源如何被清洗（5.2.2 节）。预训练阶段的超参数配置与其他相关细节见附录 B。

表 4 OpenWAM-α 的预训练数据。#Emb. 统计每个来源的不同本体数量；Task Coverage 标记每个来源覆盖的操作设定；Full 报告每个来源在处理前的原始规模，而 Curated + Sampled 报告清洗（5.2.2 节）与逐来源整回合子采样（5.2.1 节）之后实际用于训练的数据；Share 是每个来源在按比例采样下实际的每轮样本占比。

5.2.1 预训练数据混合

数据构成。 沿用 4.3 节的联合训练配方，该混合结合了三种互补的数据类型。第一人称人类数据来自我们为面向操作的世界建模精心构建的数据集——71.6K 段长时第一人称录制，每段 0.25–6 分钟，覆盖 3,006 个日常操作任务；它提供了广泛的视觉与交互多样性，但不含机器人动作标签，因此其动作与本体感受通道保持完全掩蔽，只监督世界流。真实世界机器人数据（AgiBotWorld-Beta（Bu et al., 2025）、RoboCOIN（Wu et al., 2025）与 DROID（Khazatsky et al., 2024））用跨 17 个物理平台的可执行轨迹为动作流提供接地，同时提供机器人与物理世界交互的最真实视觉观测。合成机器人数据（InternData-A1（Tian et al., 2025））进一步拓宽机器人数据的覆盖，在多样的环境变化下涵盖更完整的单臂与双臂操作技能范围。

数据预算与采样。 考虑预训练的计算资源与时间成本，每个来源在一个按来源的小时预算下被子采样。这些预算由基于帧的目标推导而来——第一人称来源与合成来源各贡献总训练帧数的 30%，剩余 40% 按三个真实机器人来源整理后的有效帧数比例分配——从而使原生帧率不同的来源按模型实际消费的数据量被平衡。在每个来源内部，小时预算在其构成子数据集之间做"注水"式分配，整回合则按固定种子从整理后的池中子采样，直到满足预算。训练随后按各来源的实际样本数按比例抽取样本，因此每个被保留的样本在每一轮中恰好被访问一次。

5.2.2 数据整理

跨不同来源与本体的聚合数据会在视觉通道与信号通道中引入异构缺陷。我们的清洗协议借鉴了 Qwen-RobotManip（Yuan et al., 2026a）的数据清洗流水线，并针对我们收集到的来源中观察到的失效模式补充了规则；它在两个层面运作：所有来源共享的视觉层清洗，以及机器人数据特有的信号层清洗。

视觉层清洗。 所有来源首先通过一个统一的视觉质量筛除，剔除无法解码的视频、冻结或重复的帧、黑/白/纯色帧、过曝与欠曝以及曝光闪烁、模糊帧与突兀的视觉跳变。第一人称数据还特有的一种失效模式：手离开视野的片段不携带操作信号，会被移除；语言标注为空或无效的录制同样被丢弃。

信号层清洗。 机器人数据额外携带状态与动作通道，按四个步骤清洗：

1. 信号完整性。 当一个回合记录的末端执行器状态无法跟踪指令动作（幅度比 ≥ 3× 且逐轴相关性 < 0.5），或视频与信号错位影响了超过 2% 的帧时，该回合被直接丢弃。
2. 状态优先的静置检测。 状态通道是判断静置片段的首要判据：状态静止的首尾片段——用按机器人校准的运动阈值（取自单帧增量的 p99.5）检测，并在平均末端执行器平移速率与测地旋转速率低于 2 cm/s 与 5°/s 时确认——会被裁掉；而回合中段的停顿绝不切除，因为切除它们会拼接上时间上不相邻的帧。此外，状态不连续（如抖动与尖峰离群值）用鲁棒的中位数–MAD 阈值筛选。
3. 视觉交叉校验。 当状态确实发生移动时，会与视觉做交叉校验：若表观状态运动发生时所有相机视角在视觉上都保持静止，则归因于传感器抖动并同样裁掉；反之，若观察到一条真正在运动的机械臂却由冻结的相机记录，则标记为采集缺陷，该回合被移除。
4. 回合级删除。 一个回合若因上述步骤丢失超过 70% 的帧，或其视频在 90% 或更长的时长内冻结，则被整体丢弃。

5.3 仿真基准评估

从预训练的 OpenWAM-α 基座模型出发，我们在 OpenWAM-Infra（3.4 节）集成的八个仿真基准上进行监督微调与评估，覆盖五类本体：

• 单臂：LIBERO（Liu et al., 2023）、LIBERO-Plus（Fei et al., 2025）与 VLABench（Zhang et al., 2024）；
• 双臂：RoboTwin2.0（Chen et al., 2025）与 RoboDojo（Chen et al., 2026b）；
• 移动单臂：RoboCasa365（Nasiriany et al., 2026）；
• 移动双臂：EBench（Gao et al., 2026）；
• 灵巧手：RoboCasa-GR1（NVIDIA et al., 2025; Nasiriany et al., 2024）。

对于 RoboTwin2.0，我们评估两个变体。RoboTwin2.0-Full 在干净与随机化数据的混合上微调，随后在两种条件下评估，考察模型的域内（ID）能力；RoboTwin2.0-Clean2Random 只在干净数据上微调，并在两种条件下评估，考察域外（OOD）泛化。

图 13 汇总了 OpenWAM-α 与各基准上代表性的 VLA、WAM 基线的分数，每根柱子上都标注了实际数值，从而清楚呈现模型所处的位置。图 14 通过在每个排行榜上让 OpenWAM-α 与最强的 VLA 与 WAM 对比，并按本体分组，对这一视角做出补充，使两种范式可以直接比较。每个基准详细的训练与评估配置（包括超参数设置与评估细节）见附录 B.2。两幅图背后的逐基准表格见附录 D。

图 13 OpenWAM-α 与代表性 VLA、WAM 基线在各仿真基准上的分数对比。在每个面板内，基线按分数排序，每根柱子都标注了其实际数值。

图 14 OpenWAM-α 与各家族最优模型在各基准上的对比，按本体分组。

通过这些分数，我们试图回答这一评估的两个核心问题：(1) OpenWAM-α 表现如何？(2) 在 VLA 与 WAM 之间，哪种范式占优？ 接下来的两小节依次回答。

5.3.1 OpenWAM-α 表现如何？

在大多数基准上，OpenWAM-α 交付出色的性能：

• 在单臂基准 LIBERO 与 VLABench、双臂基准 RoboTwin2.0-Full、移动单臂基准 RoboCasa365 以及灵巧手基准 RoboCasa-GR1 上，OpenWAM-α 稳稳处于第一梯队，与最佳模型只差一个很小的间距。
• 在移动双臂基准 EBench 上，OpenWAM-α 树立了新的最先进水平，在 SR 与 Score 两项上均领先亚军 Qwen-RobotManip 约 4 个点。
• 在双臂基准 RoboTwin2.0-Clean2Random 与 RoboDojo 上，与最佳模型（均为 VLA）之间仍存在差距，但 OpenWAM-α 在两个排行榜上都是最强的 WAM，明显领先于其他 WAM。

表 5 LIBERO-Plus 上的评估结果。粗体表示最优值，下划线表示次优值。

意料之外的例外是单臂基准 LIBERO-Plus，OpenWAM-α 的分数明显低于它在其他位置的水平，如表 5 所示。对 LIBERO-Plus 的逐扰动拆解很有说明性：损失集中在 相机（camera） 与 噪声（noise） 扰动下，同时在 背景（background） 与 布局（layout） 扰动下也有明显不足。然而在同一个排行榜上，ABot-M0.5、ImageWAM 与 Being-H0.7——它们本身也都是 WAM——表现强劲，分数接近最先进水平。我们因此沿着两个轴比较 OpenWAM-α 与这些模型：预训练数据与架构，以找出背后的原因。

图 15 ABot-M0.5、Being-H0.7 与 OpenWAM-α 的单臂预训练数据。虚线表示 OpenWAM-α 的单臂数据仅是 ABot-M0.5 与 Being-H0.7 所消费数据的一小部分。

数据视角。 图 15 把 ABot-M0.5 与 Being-H0.7 的预训练数据中的单臂部分与 OpenWAM-α 的做了对比。两个基线的预训练都使用了规模大得多、也更丰富的单臂集合，覆盖多样的本体、场景与相机视角，因此在预训练期间它们已经见过接近 LIBERO-Plus 测试场景的视觉信息与世界知识——不仅在视角与噪声上，也在背景与布局上。相比之下，OpenWAM-α 的单臂数据（表 4）在体量与多样性上都小得多，只来自两个来源：在固定单臂平台、固定相机视角上采集的 DROID，以及合成数据 InternData-A1 的单臂部分。在如此有限的单臂覆盖下，模型获得的单臂世界知识远少，其在 LIBERO-Plus 的 OOD 扰动上的单臂泛化能力也随之受损。反过来也成立：OpenWAM-α 的混合数据在第一人称、双臂与灵巧手数据上很丰富，模型相应地在双臂与灵巧手基准上很强。

架构视角。 Fast-WAM、ABot-M0.5 与 OpenWAM-α 共享同一个核心预测目标——一个在时间视野上的像素级未来视频，其中间潜在变量由重建式 Wan2.2-VAE 产生。在 LIBERO-Plus 上，三者表现出相同的特征：相机 与 噪声 扰动下的分数明显低于其他扰动，而只有 ABot-M0.5 借助其预训练数据，相对 Fast-WAM 与 OpenWAM-α 追回了大部分损失。像素级信息显然对相机与噪声扰动极为敏感——这是像素级预测架构的固有局限，只有大规模预训练才能补偿。另外两个基线印证了这一解读。ImageWAM 虽然没有预训练，却在 LIBERO-Plus 上表现格外强：它的预测目标同样是像素级潜在变量，但它只预测当前观测的单个未来帧——更接近一次编辑而非一次 rollout——因此误差不会跨帧累积，未来像素预测对相机与噪声分数的影响也相应缩小。Being-H0.7 则用 V-JEPA 2.1 编码观测：它的中间潜在变量仍具时域性（若干帧被联合编码），但它们是语义级特征而非像素重建，这使模型对相机与噪声扰动明显更鲁棒。与 LIBERO-Plus 不同，其他基准的 OOD 设计并未刻意施加相机或噪声扰动，因此 OpenWAM-α 在那里仍然极具竞争力；而在 LIBERO-Plus 上，相机与噪声扰动叠加了前述单臂数据缺口，OpenWAM-α 的性能不可避免地出现退化。

结论 1： 一个具身模型在某个基准上泛化得多好，最终取决于它的预训练混合数据中是否包含与该基准测试条件相近的数据——无论是在本体还是环境上。延续 4.3 节，具身基础模型的决定性要素仍然是大规模、多样、场景丰富的机器人操作数据：它同时覆盖模型之后可能遇到的广泛测试场景，并提供与本体的精确动作/视觉信息接地——这是通向更强泛化最直接的路径。

结论 2： 在大规模数据驱动下，以像素潜在空间预测未来的 WAM 可以达到出色性能，但它们对视觉扰动的鲁棒性本身是有限的。与 4.1.2 节呼应，要把 WAM 性能继续推高，仍然需要一个对环境变化鲁棒、信息丰富且足够紧凑的表征。

5.3.2 VLA 还是 WAM：哪种范式占优？

在全部基准上（图 14），VLA 组与 WAM 组在总体成功率上没有显著差距，双方都把亮眼的模型推到排行榜前列：WAM 中有 ABot-M0.5 与 OpenWAM-α，VLA 中有 Xiaomi-Robotics-1 与 Qwen-RobotManip。由于这些模型在预训练数据、架构与训练配置上都不相同，无法断然宣布哪种范式更优。然而，更细粒度的分数揭示了一个一致的模式：每种范式都拥有自己的优势区域（图 16）。

在分布内，WAM 拟合更好。 最干净的比较发生在 StarVLA 与 Fast-WAM 之间——两个都没有具身预训练的模型（图 16a）：在 LIBERO、RoboTwin2.0-Clean2Random 的 Clean 划分与 RoboTwin2.0-Full 上，WAM 在这些 ID 任务上取得明显更高的分数，比其 VLA 对手更有效地拟合了训练分布。预训练模型从两个方向讲述了同样的故事（图 16b）：OpenWAM-α 在 LIBERO、VLABench 的 In-dist. 划分与 RoboTwin2.0-Clean2Random 的 Clean 划分上领先三个最强的 VLA，并在 RoboDojo 的 Gen-Std 划分上与最佳者保持小差距——尽管这些 VLA 的预训练数据比我们更多。这一优势可追溯到 WAM 训练中的视频潜在监督：VLA 纯粹针对动作监督优化，没有中间潜在目标，而视频潜在项为参数优化注入了额外信息，使 WAM 能够更贴近地拟合训练数据。

在分布外，VLA 泛化更好。 同样的 StarVLA–Fast-WAM 比较在分布外发生反转（图 16a）：在 LIBERO-Plus 上 VLA 大幅领先，甚至在两者都崩塌的 RoboTwin2.0-Clean2Random 的 Randomized 划分上，排序仍然偏向 VLA。预训练模型镜像了这一反转（图 16c）：在 LIBERO-Plus、RoboTwin2.0-Clean2Random 的 Randomized 划分与 RoboDojo 的 Open 划分上，OpenWAM-α 明显落后于最先进的 VLA。其机理正是 ID 优势的另一面：长视野未来预测增加了一个有助于拟合的监督信号，但在分布偏移下，同样长的视野意味着更重的误差累积——这是纯动作 VLA 从不承担的负担——于是 WAM 在未见过的评估环境中明显弱于 VLA。

图 16 两种范式在 ID 与 OOD 上的对比。(a) Fast-WAM 与 StarVLA（均无具身预训练）在 ID 与 OOD 划分上的对比。(b) OpenWAM-α 与三个最强 VLA 在 ID 划分上的对比。(c) OpenWAM-α 与三个最强 VLA 在 OOD 划分上的对比。

关键之处在于，两种缺口都可以由数据来弥补。无论 VLA 的 ID 拟合缺口，还是 WAM 的 OOD 泛化缺口，足够丰富的预训练数据——覆盖复杂的环境变化、携带精确的动作标注——都能让任一种范式借助所继承的先验，在测试时同时实现强拟合与强泛化。因此数据仍然是模型开发的第一优先级。同时，VLA 与 WAM 都是建立于同一条核心信息流（从观测到动作）之上的端到端模型；如何结合两种范式互补的优势，从而进一步推动端到端模型的能力边界，仍然是一个非常值得追求的问题。

结论 3： 没有哪种范式压倒性地占优：视频潜在监督让 WAM 在分布内拟合上占优，而 VLA 在分布外泛化更好——并且两种缺口都能被足够大规模、足够多样的预训练数据补偿。结合两种端到端范式互补的优势，是进一步推动能力边界的一条有前景的路径。

5.4 真实机器人评估

为了在仿真之外进一步考察 OpenWAM-α、并验证它的一般能力与泛化能力，我们在三种本体——单臂、双臂与灵巧手——上开展了全面的真实机器人评估，实验设置见图 17。具体来说：

• 单臂实验在 Franka-Research-3 平台上进行，覆盖三个任务族——堆叠、抓放与悬挂——考察模型的基础与精细操作能力。性能以任务成功率（SR）度量。
• 双臂实验在官方 RoboDojo 真实机器人平台上进行，覆盖三种本体（ARX X5、Piper 与 Piper X）；依照 RoboDojo 的任务分类，评估覆盖泛化、精度、长视野、记忆与开放任务，从而全面考察模型。性能以 SR 与 Progress Score 度量。
• 灵巧手实验在一个由 Wuji 灵巧手与 Tianji 机械臂组成的平台上进行——这一本体与动作空间在 OpenWAM-α 的预训练混合中都不存在——覆盖双手交互、长视野与精细操作任务，考察模型对未见本体与未见动作维度的适应与泛化能力。性能以 SR 与 Progress Score 度量。

各本体的任务设置与评估协议见附录 C，这些实验所用的 SFT 配置见附录 B.2。表 6、表 7 与表 8 分别报告单臂、RoboDojo 双臂与灵巧手实验的详细分数。

图 17 三种本体上的真实机器人实验设置。上：Franka-Research-3 平台上的六个单臂任务。左下：RoboDojo 真实世界赛道的三种双臂本体（Piper X、Piper 与 ARX X5），共覆盖 18 个任务。右下：Wuji 手 + Tianji 臂平台上的四个灵巧手任务，每个任务用其执行过程中的关键中间阶段示意。

表 6 单臂真实机器人任务的评估结果。粗体表示最优值，下划线表示次优值。

在单臂平台上（表 6），OpenWAM-α 在大多数任务上明显领先于代表性 WAM LingBot-VA 与代表性 VLA \(\pi_{0.5}\)，并取得最佳平均成功率，初步证明了它的一般与精细操作能力。随后我们转向 RoboDojo-Real（表 7），一个跨三种双臂本体、覆盖广泛任务维度的、用于全面评估通用操作策略的真实机器人基准。OpenWAM-α 位居榜首：它在各本体及其任务上保持持续强劲，并在绝大多数任务上达到最先进水平，印证了模型在真实世界中的通用性与鲁棒性。

表 7 双臂 RoboDojo 真实世界赛道的评估结果。每个单元报告 Score / SR（%）。粗体表示最优值，下划线表示次优值。各行按本体着色。

任务顺序说明。ARX X5：cover_blocks、make_bread、make_food、pack_and_pour_fruit、store_in_safe、insert_tubes。Piper：stack_and_cover_blocks、fill_pen_holder、put_objects_into_basket、insert_charger、stack_bowls、stand_up_bottles。Piper X：classify_objects、disassemble_LEGO、hang_mugs、pack_objects_into_backpack、sweep_blocks、cap_pen。

为进一步考察 OpenWAM-α 的可扩展性与泛化能力，我们在基于 Wuji 手 + Tianji 臂平台构建的四个灵巧操作任务上微调预训练模型，并在域内与域外两种设定下测试（表 8）。无论是该平台还是它的动作空间——9 维末端执行器位姿配合 21 个灵巧手自由度——都从未出现在 OpenWAM-α 的预训练混合中；尽管如此，OpenWAM-α 在所有任务与设定上都明显优于 \(\pi_{0.5}\)，说明模型能够可靠、稳定地适应一个完全未见的本体。

表 8 灵巧手真实机器人任务的评估结果。每个单元报告 Score / SR（%）；OOD 列聚合其任务的全部变化设定。粗体表示最优值。

综合来看，这些实验在三种本体类型与广泛的真实世界操作任务上评估了 OpenWAM-α。结果表明 OpenWAM-α 在每一种设定下都表现强劲，并与当今领先模型处于同一水平，说明它可以作为社区后续开发与比较的一个强基线。

---

第6章 结论

本工作提出了 OpenWAM，一个把世界–动作建模从一组紧密耦合的实现选择转变为一项受控实验计划的开放研究栈。OpenWAM-Infra 把 WAM 设计空间分解为可组合模块，组装为三个架构家族，并由同一个 trainer、策略服务器与评估协议服务，覆盖八个仿真基准与真实机器人。在此基底之上，OpenWAM-Study 考察了 WAM 应当继承什么世界知识、世界学习与动作学习如何创造协同、以及这种协同如何跨域整合，并把答案蒸馏为一份具体配方。OpenWAM-α 随后通过统一的动作空间，在第一人称人类数据与机器人数据上把这份配方规模化实例化，在仿真基准与单臂、双臂、灵巧手平台上的真实机器人实验中都交付了持续强劲的结果。

我们发布完整技术栈，包括基础设施、评估协议、预训练权重与数据配方，作为世界–动作研究共享且可复现的基础，其中 OpenWAM-α 作为后续开发与比较的强基线。展望未来，这些发现指向三个最有前景的方向：更大规模、更丰富、带精确动作标注的具身数据；既紧凑又对环境变化鲁棒的视觉表征；以及结合 WAM 与 VLA 互补优势的端到端设计。关于局限与未来工作的更详细讨论见附录 A。

致谢

我们感谢 Nilaksh 与 Chuning Zhu 的富有启发的讨论。我们感谢 Wuji Technology 提供计算资源，这对本项目的完成至关重要。

---

附录

本附录提供支撑正文的补充分析与实现细节：

• 附录 A 讨论本工作的局限与未来研究方向。
• 附录 B 记录预训练配置以及后训练期间按数据集区分的 SFT 配置。
• 附录 C 详述真实世界实验的任务设置与评估协议。
• 附录 D 报告图 13 背后完整的逐基准仿真分数。

附录 A 局限与未来工作

尽管 OpenWAM 为世界–动作模型预训练提供了一个完全开放、系统性的探索，它仍有若干局限，并开启了一些值得探索的未来方向。

1. 训练阶段。 我们主要关注世界–动作建模的具身预训练阶段。后训练与适配方法能够为具身基础模型带来显著提升，而这些方法的经验配方与底层机制仍是未解问题。
2. 架构。 在 OpenWAM 目前支持的六种架构变体范围内，我们主要探索了通过跨模态注意力或硬路由 MoE 实现的模态融合。借鉴统一多模态模型（Unified Multimodal Model, UMM）社区的经验，我们鼓励未来工作探索更原生的模态融合技术，例如 tokenization 阶段的早期融合与软路由 MoE。
3. 预训练数据混合。 我们没有纳入 UMI 风格（例如 UMI（Chi et al., 2024）、DexUMI（Xu et al., 2025））采集的数据。理论上，UMI 风格数据能提供与人类第一人称视频相当的任务与场景多样性，而这是域外泛化能力的关键组成部分。与那些包含机器人可执行动作、但在场景与任务层面足够多样的数据（可通过 UMI 风格接口或后处理流水线采集）进行联合训练，可能是一条更数据高效的通向自主具身机器智能的路径。此外，我们期待具身 AI 在仿真方向的进一步突破：仿真可以原生地生成带多样场景与真实运动轨迹的机器人操作数据，不受物理世界时间与人力成本的约束，因此在把机器人数据按数量级扩展方面具有无界潜力。
4. 视觉编码器。 在权衡候选编码器在时域与 token 两个维度上的压缩后，我们最终采用 Wan2.2-VAE 作为 OpenWAM 的最终编码器——这一选择反映的是当前可得的最佳权衡，而非最优解：我们的评估显示，像 Wan2.2-VAE 这样的像素重建编码器对视角、噪声与场景变化并不足够鲁棒。要把 WAM 性能继续推高，仍然需要一个既紧凑、又携带足够环境信息的潜在表征，这值得更深入的探索。

附录 B 训练细节

本节记录用于训练与适配 OpenWAM-α 的优化与数据加载配置。我们把细节分为两个阶段：多域预训练与后训练期间按数据集区分的监督微调（SFT）。

B.1 预训练配置

多域预训练所用的关键超参数汇总于表 9。预训练使用 16 个节点、每节点八张 NVIDIA H200 GPU（共 128 张 GPU），耗时约七天。每张 GPU 装 24 个 clip 且不做梯度累积，因此全局批量大小为每个优化器步 3,072 个 clip。来源级数据预算与实现的混合比例如表 4 单独报告。

表 9 OpenWAM-α 的预训练配置。

B.2 按数据集区分的 SFT 配置

所有下游模型都从同一个预训练的 OpenWAM-α 检查点初始化。监督微调保持表 9 的预训练配置不变，只在与基准相关的三项设置上有所不同，汇总于表 10：全局批量大小、训练轮数或步数、以及是否施加图像增强。训练长度以微调集上的轮数给出，括号内为对应的优化器步数；当未使用基于轮数的调度时，直接以优化器步数给出。图像增强在启用时，即为预训练所用的 ColorJitter(0.2, 0.2, 0.2, 0.0)。LIBERO-Plus 使用 LIBERO 检查点评估，不做进一步微调。

表 10 OpenWAM-α 按数据集区分的 SFT 配置。未列出的设置与预训练（表 9）一致；“–”表示不做图像增强。

附录 C 真实世界评估协议

本节详述 5.4 节的真实世界评估：对每种本体，我们都记录任务设置与相应的评估协议。

C.1 单臂真实机器人实验

任务设置。 我们在 Franka-Research-3 平台上用六个真实世界桌面任务评估单臂策略，覆盖堆叠、悬挂与抽屉操作。任务使用一条 Franka-Research-3 机械臂，配备平行夹爪与 RGB 观测相机，如图 18 所示。每个任务由一条自然语言指令指定，并在固定的物理场景中实例化：堆叠任务在桌面上放置两个目标物体，悬挂任务在工作区放置物体与支架，抽屉任务把物体放在桌面上、紧邻一个上层抽屉。

表 11 单臂真实机器人评估所用的任务指令。

图 18 Franka-Research-3 平台上的单臂真实机器人设置。工作区包含六个任务所用的抽屉、堆叠物体与悬挂装置，机器人配备 Intel RealSense 相机与 Robotiq 平行夹爪以进行闭环执行。

相应的执行序列可视化于图 19，其中每一行包含从该任务某一次 rollout 视频中均匀采样的六帧。

图 19 Franka-Research-3 平台上的单臂任务执行序列。每一行展示一个任务，六帧从中对应的左视角 rollout 视频中均匀采样。

评估协议。 对每个单臂任务，我们用 100 条任务专属的真实机器人示范微调策略。微调后，每个任务在 20 次独立的真实世界试验上评估，我们以 20 次中成功试验的数量报告成功率（表 6）。一次堆叠试验只有在左侧物体被抓起并稳定地堆叠到目标物体上时才算成功。一次悬挂试验只有在物体被抓起并保持悬挂在支架上时才算成功。一次抽屉试验只有在物体被放入抽屉且上层抽屉被推合时才算成功。

C.2 灵巧手真实机器人实验

任务设置。 我们在四个真实世界操作任务上评估灵巧手策略：Stack Toy Tower（堆叠玩具塔）、Collect Shuttlecocks（收集羽毛球）、Twist off Bottle Cap（拧开瓶盖）与 Put Away Clothes（收纳衣物）。每个任务由一条定义期望操作目标的自然语言指令指定。任务指令汇总于表 12。

表 12 真实世界评估所用的任务指令。

所有实验都在一个物理灵巧手平台上进行。机器人接收任务指令，并在相应场景中自主执行操作。图 20 展示了评估所用的物理机器人、灵巧手、工作区、相机视角与代表性物体。

图 20 真实世界实验设置。图中展示了物理灵巧手平台、工作区、观测相机与四个操作任务的代表性物体。

对每个任务，我们在一个域内（ID）条件与若干个域外（OOD）条件下评估策略。OOD 条件每次只修改一个因素，包括物体身份、物体布局、光照或背景外观，同时保持任务指令与整体操作目标不变。任务执行序列与相应的 ID/OOD 配置如图 21 所示。

图 21 任务执行序列与评估条件。每一行展示一个任务的主要操作阶段，各列展示相应的 ID 场景与 OOD 变化。OOD 条件包括物体身份、物体布局、光照与背景外观的变化。

评估协议。 每个任务在 ID 与 OOD 条件下都经过多次独立试验评估。我们报告两个互补的指标：进度分数（Score）与最终成功率（SR）。

最终成功率。 一次试验只有在完整任务目标达成时才计为最终成功。最终成功率计算为

\[S_{\text{final}} = \frac{N_{\text{success}}}{N_{\text{trial}}} \times 100\%, \]

其中 \(N_{\text{success}}\) 是满足完整任务判据的试验数量，\(N_{\text{trial}}\) 是有效试验总数。

进度分数。 进度分数度量所需操作要素中被成功完成的比例，而不论最终任务状态是否达成。对于第 i 次试验，令 \(n_i\) 表示成功完成的要素数，\(m_i\) 表示该次试验中出现的要素总数。进度分数计算为

\[S_{\text{process}} = \frac{\sum_i n_i}{\sum_i m_i} \times 100\%. \]

任务专属判据。

• Collect Shuttlecocks（收集羽毛球）。 每次试验在桌面上放置二到四个羽毛球。只有当所有羽毛球都被放入羽毛球筒时，该次试验才计为最终成功。进度分数是成功放入筒中的羽毛球比例。
• Stack Toy Tower（堆叠玩具塔）。 每次试验包含三个圆盘。只有当三个圆盘都按尺寸递减顺序成功插到塔柱上时，该次试验才计为最终成功。进度分数是成功插入的圆盘比例。
• Put Away Clothes（收纳衣物）。 每次试验包含三到四件衣物。只有当所有衣物都被放入篮子时，该次试验才计为最终成功。进度分数是成功放入篮中的衣物比例。
• Twist off Bottle Cap（拧开瓶盖）。 当瓶盖被完全拧开且机器人保持对瓶子或瓶盖的稳定抓握时，该次试验计为最终成功。进度分数记录瓶盖是否被成功拧开，不论最终稳定抓握是否达成。

C.3 双臂真实机器人实验

我们在 RoboDojo-Real 的全部 18 个任务上开展全面评估，使用 RoboDojo 团队提供的官方真实机器人评估平台，覆盖其三种双臂本体：ARX X5、Piper 与 Piper X。评估严格遵循官方评估团队定义的统一协议；关于平台及其任务规格的详细文档可在 RoboDojo 网站（ https://robodojo-benchmark.com/ ）及其随附的官方文档（ https://robodojo-benchmark.com/doc/real-tasks/ ）中查阅。

附录 D 逐基准仿真结果

以下表格报告图 13 所汇总的完整逐基准分数，LIBERO-Plus 除外（其分数已在正文表 5 中报告）。在每个表格内，基线按 VLA 或 WAM 分组；粗体表示最优值，下划线表示次优值。

表 13 LIBERO 上的评估结果。粗体表示最优值，下划线表示次优值。

表 14 VLABench 上的评估结果。粗体表示最优值，下划线表示次优值。

表 15 RoboTwin2.0-Clean2Random 上的评估结果。粗体表示最优值，下划线表示次优值。

表 16 RoboTwin2.0-Full 上的评估结果。粗体表示最优值，下划线表示次优值。

表 17 RoboDojo 上的评估结果。粗体表示最优值，下划线表示次优值。

表 18 EBench 上的评估结果。粗体表示最优值，下划线表示次优值。

表 19 RoboCasa365 上的评估结果。粗体表示最优值，下划线表示次优值。

表 20 RoboCasa-GR1 上的评估结果。粗体表示最优值，下划线表示次优值。

---

参考文献

以下为原文参考文献列表（保留英文原貌，未作翻译）。全部 108 条。

1. Ali, A., Bai, J., Bala, M., Balaji, Y., Blakeman, A., Cai, T., Cao, J., Cao, T., Cha, E., Chao, Y.-W., et al. World simulation with video foundation models for physical ai. arXiv preprint arXiv:2511.00062, 2025.
2. Allen-Zhu, Z. Physics of language models: Part 4.1, architecture design and the magic of canon layers. Advances in Neural Information Processing Systems, 38:42349–42369, 2026.
3. Baade, A., Chan, E. R., Sargent, K., Chen, C., Johnson, J., Adeli, E., and Fei-Fei, L. Latent forcing: Reordering the diffusion trajectory for pixel-space image generation. arXiv preprint arXiv:2602.11401, 2026.
4. Bai, S., Cai, Y., Chen, R., Chen, K., Chen, X., Cheng, Z., Deng, L., Ding, W., Gao, C., Ge, C., Ge, W., Guo, Z., Huang, Q., Huang, J., Huang, F., Hui, B., Jiang, S., Li, Z., Li, M., Li, M., Li, K., Lin, Z., Lin, J., Liu, X., Liu, J., Liu, C., Liu, Y., Liu, D., Liu, S., Lu, D., Luo, R., Lv, C., Men, R., Meng, L., Ren, X., Ren, X., Song, S., Sun, Y., Tang, J., Tu, J., Wan, J., Wang, P., Wang, P., Wang, Q., Wang, Y., Xie, T., Xu, Y., Xu, H., Xu, J., Yang, Z., Yang, M., Yang, J., Yang, A., Yu, B., Zhang, F., Zhang, H., Zhang, X., Zheng, B., Zhong, H., Zhou, J., Zhou, F., Zhou, J., Zhu, Y., and Zhu, K. Qwen3-vl technical report, 2025. URL https://arxiv.org/abs/2511.21631.
5. Bai, Y., Wang, H., Dai, M., Zhong, Q., Liu, Y., and Lin, L. Bridge-wa: Predicting where and how the world changes for robotic action. arXiv preprint arXiv:2607.02195, 2026.
6. Barreiros, J., Beaulieu, A., Bhat, A., Cory, R., Cousineau, E., Dai, H., Fang, C.-H., Hashimoto, K., Irshad, M. Z., Itkina, M., et al. A careful examination of large behavior models for multitask dexterous manipulation. Science Robotics, 11(113):eaea6201, 2026.
7. Beyer, L., Steiner, A., Pinto, A. S., Kolesnikov, A., Wang, X., Salz, D., Neumann, M., Alabdulmohsin, I., Tschannen, M., Bugliarello, E., et al. Paligemma: A versatile 3b vlm for transfer. arXiv preprint arXiv:2407.07726, 2024.
8. Bi, H., Tan, H., Xie, S., Wang, Z., Huang, S., Liu, H., Zhao, R., Feng, Y., Xiang, C., Rong, Y., et al. Motus: A unified latent action world model. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 35101–35113, 2026.
9. Black, K., Brown, N., Driess, D., Esmail, A., Equi, M., Finn, C., Fusai, N., Groom, L., Hausman, K., Ichter, B., et al. π0: A vision-language-action flow model for general robot control. arXiv preprint arXiv:2410.24164, 2024.
10. Black Forest Labs. FLUX.2: Analyzing and enhancing the latent space of FLUX. Technical blog, 2025. URL https://bfl.ai/research/representation-comparison.
11. Brohan, A., Brown, N., Carbajal, J., Chebotar, Y., Chen, X., Choromanski, K., Ding, T., Driess, D., Dubey, A., Finn, C., et al. Rt-2: Vision-language-action models transfer web knowledge to robotic control. arXiv preprint arXiv:2307.15818, 2023.
12. Brooks, T., Peebles, B., Holmes, C., DePue, W., Guo, Y., Jing, L., Schnurr, D., Taylor, J., Luhman, T., Luhman, E., Ng, C., Wang, R., and Ramesh, A. Video generation models as world simulators, 2024. URL https://openai.com/research/video-generation-models-as-world-simulators.
13. Bu, Q., Cai, J., Chen, L., Cui, X., Ding, Y., Feng, S., Gao, S., He, X., Huang, X., Jiang, S., et al. Agibot world colosseo: A large-scale manipulation platform for scalable and intelligent embodied systems. arXiv preprint arXiv:2503.06669, 2025.
14. Cai, J., Cai, Z., Cao, J., Chen, Y., He, Z., Jiang, L., Li, H., Li, H., Li, Y., Liu, Y., et al. Internvla-a1: Unifying understanding, generation and action for robotic manipulation. arXiv preprint arXiv:2601.02456, 2026a.
15. Cai, J., Ling, L., Chu, S., Liu, Z., Kang, J., Liang, Z., Xu, W., Mao, Y., Zhang, W., Yang, X., et al. Aha-wam: Asynchronous horizon-adaptive world-action modeling with observation-guided context routing. arXiv preprint arXiv:2606.09811, 2026b.
16. Cai, R., Guo, J., He, X., Jin, P., Li, J., Lin, B., Liu, F., Liu, W., Ma, F., Ma, K., et al. Xiaomi-robotics-0: An open-sourced vision-language-action model with real-time execution. arXiv preprint arXiv:2602.12684, 2026c.
17. Caron, M., Touvron, H., Misra, I., Jégou, H., Mairal, J., Bojanowski, P., and Joulin, A. Emerging properties in self-supervised vision transformers. In 2021 IEEE/CVF international conference on computer vision (ICCV), pp. 9630–9640. IEEE, 2021.
18. Chen, R., Yang, Y., Tang, Z., Huo, D., Lin, T., Wu, H., Liu, H., Chen, Y., Zheng, L., Yuan, B., et al. Abot-m0.5: Unified mobility-and-manipulation world action model. arXiv preprint arXiv:2607.00678, 2026a.
19. Chen, T., Chen, Z., Chen, B., Cai, Z., Liu, Y., Li, Z., Liang, Q., Lin, X., Ge, Y., Gu, Z., et al. Robotwin 2.0: A scalable data generator and benchmark with strong domain randomization for robust bimanual robotic manipulation. arXiv preprint arXiv:2506.18088, 2025.
20. Chen, T., Chen, Y., Li, Z., Tang, J., Su, K., Lu, H., Wan, W., Chen, B., Liu, S., Yan, H., Su, H., Dou, Z., Wang, K., Zhang, D., Liu, Y., Qin, Y., Liang, Q., Wu, Q., Lin, Z., Lin, W., Wang, Y., He, M., Wu, T., Wu, R., Zhou, J., Lei, K.-C., Yu, H., Ji, Y., Jin, W., Lin, G., Li, X., Xiong, Q., Xu, R., Li, Z., Chai, W., Xie, E., Wang, Z., Mu, Y., Dong, H., Matusik, W., Ding, M., Ding, W., Luo, P., and Tomizuka, M. Robodojo: A unified sim-and-real benchmark for comprehensive evaluation of generalist robot manipulation policies, 2026b. URL https://arxiv.org/abs/2607.04434.
21. Chi, C., Xu, Z., Pan, C., Cousineau, E., Burchfiel, B., Feng, S., Tedrake, R., and Song, S. Universal manipulation interface: In-the-wild robot teaching without in-the-wild robots. arXiv preprint arXiv:2402.10329, 2024.
22. Chi, C., Xu, Z., Feng, S., Cousineau, E., Du, Y., Burchfiel, B., Tedrake, R., and Song, S. Diffusion policy: Visuomotor policy learning via action diffusion. The International Journal of Robotics Research, 44(10-11):1684–1704, 2025.
23. Community, S. Starvla: A lego-like codebase for vision-language-action model developing. arXiv preprint arXiv:2604.05014, 2026.
24. Community, X., Chen, T., Chen, Y., Nian, T., Cai, Z., Chen, G., Lin, W., Liang, Q., Xiang, P., Su, K., et al. XPolicyLab: A unified standard and open ecosystem for robot policy evaluation and deployment. arXiv preprint arXiv:2608.09892, 2026.
25. Dexmal. DM0.5. Technical blog, 2026. URL https://www.dexmal.com/blog/dm0.5.
26. Fei, S., Wang, S., Shi, J., Dai, Z., Cai, J., Qian, P., Ji, L., He, X., Zhang, S., Fei, Z., Fu, J., Gong, J., and Qiu, X. Libero-plus: In-depth robustness analysis of vision-language-action models. arXiv preprint arXiv:2510.13626, 2025.
27. Gao, N., Zheng, J., Gao, X., Ma, H., Wang, H., Wang, Y., Chen, J., Chen, Z., Zhang, S., Jia, M., Jiang, X., Zhu, Z., Li, X., Wang, S., Li, H., Cai, W., Yang, Y., Xu, X., Lyu, Z., Mu, Y., Wang, T., Pang, J., Zeng, J., Zhang, W., and Shen, C. Ebench: Elemental diagnosis of generalist mobile manipulation policies. arXiv preprint arXiv:2606.18239, 2026.
28. Guo, J., Li, Q., Li, P., Chen, Z., Sun, N., Su, Y., Wang, H., Zhang, Y., Li, X., and Liu, H. Unified 4d world action modeling from video priors with asynchronous denoising. arXiv preprint arXiv:2604.26694, 2026.
29. Ha, D. and Schmidhuber, J. World models. arXiv preprint arXiv:1803.10122, 2(3):440, 2018.
30. Hafner, D., Lillicrap, T., Ba, J., and Norouzi, M. Dream to control: Learning behaviors by latent imagination. arXiv preprint arXiv:1912.01603, 2019.
31. Han, J., Tong, S., Fan, D., Chen, M., Torr, P., Kokkinos, F., and Lewis, M. Towards physics of multimodal pretraining: Knowledge flow, modality synergy, early unification, and recipes. arXiv preprint arXiv:2608.05000, 2026.
32. Ho, J., Salimans, T., Gritsenko, A., Chan, W., Norouzi, M., and Fleet, D. J. Video diffusion models. Advances in neural information processing systems, 35:8633–8646, 2022.
33. Hoque, R., Huang, P., Yoon, D. J., Sivapurapu, M., and Zhang, J. Egodex: Learning dexterous manipulation from large-scale egocentric video. arXiv preprint arXiv:2505.11709, 2025.
34. Hu, Y., Zhu, H., Zheng, B., Hu, Y., Zhang, T., Chen, Z., Zhao, J., Nai, R., and Gao, Y. Openhlm: An empirical recipe for whole-body humanoid loco-manipulation. arXiv preprint arXiv:2606.22174, 2026.
35. Huang, S., Wu, J., Zhou, Q., Miao, S., and Long, M. Vid2world: Crafting video diffusion models to interactive world models. arXiv preprint arXiv:2505.14357, 2025.
36. Huang, S., Kaushik, P., Chen, M., Pan, H., Geng, K., Chehab, O., Moreno-Pino, F., and Simchowitz, M. Nano world models: A minimalist implementation of future video prediction. arXiv preprint arXiv:2605.23993, 2026.
37. Jha, S., Zholus, A., Chandar, S., et al. Reconstruction or semantics? what makes a latent space useful for robotic world models. arXiv preprint arXiv:2605.06388, 2026.
38. Jiang, T., Yuan, T., Liu, Y., Lu, C., Cui, J., Liu, X., Cheng, S., Gao, J., Xu, H., and Zhao, H. Galaxea open-world dataset and g0 dual-system vla model. arXiv preprint arXiv:2509.00576, 2025.
39. Karras, T., Aittala, M., Aila, T., and Laine, S. Elucidating the design space of diffusion-based generative models. Advances in neural information processing systems, 35:26565–26577, 2022.
40. Khazatsky, A., Pertsch, K., Nair, S., Balakrishna, A., Dasari, S., Karamcheti, S., Nasiriany, S., Srirama, M. K., Chen, L. Y., Ellis, K., et al. Droid: A large-scale in-the-wild robot manipulation dataset. arXiv preprint arXiv:2403.12945, 2024.
41. Kim, D., Jang, H., Koo, M., Jang, S., Kim, T., Kim, B., Yoon, B., Jang, C., Choi, D., Han, D., et al. Rldx-1 technical report. arXiv preprint arXiv:2605.03269, 2026a.
42. Kim, M. J., Pertsch, K., Karamcheti, S., Xiao, T., Balakrishna, A., Nair, S., Rafailov, R., Foster, E., Lam, G., Sanketi, P., et al. Openvla: An open-source vision-language-action model. arXiv preprint arXiv:2406.09246, 2024.
43. Kim, M. J., Finn, C., and Liang, P. Fine-tuning vision-language-action models: Optimizing speed and success. arXiv preprint arXiv:2502.19645, 2025.
44. Kim, M. J., Gao, Y., Lin, T.-Y., Lin, Y.-C., Ge, Y., Lam, G., Liang, P., Song, S., Liu, M.-Y., Finn, C., et al. Cosmos policy: Fine-tuning video models for visuomotor control and planning. arXiv preprint arXiv:2601.16163, 2026b.
45. Lazzati, F., Stachowicz, K., Chen, W., Metelli, A. M., Wagenmaker, A., and Levine, S. Why does action chunking improve behavioral cloning performance in robotic control? arXiv preprint arXiv:2608.02547, 2026.
46. LeCun, Y. et al. A path towards autonomous machine intelligence version 0.9. 2, 2022-06-27. Open Review, 62(1): 1–62, 2022.
47. Li, F., Song, W., Zhao, H., Wang, J., Ding, P., Wang, D., Zeng, L., and Li, H. Spatial forcing: Implicit spatial representation alignment for vision-language-action model. In International Conference on Learning Representations, 2026a.
48. Li, L., Zhang, Q., Luo, Y., Yang, S., Wang, R., Han, F., Yu, M., Gao, Z., Xue, N., Zhu, X., et al. Causal world modeling for robot control. arXiv preprint arXiv:2601.21998, 2026b.
49. Lin, F., Arora, K., Mercat, J., Nishimura, H., Shah, P., Xu, C., Zhang, M., Zolotas, M., Angeles, M., Pfannenstiehl, O., et al. A systematic study of data modalities and strategies for co-training large behavior models for robot manipulation. arXiv preprint arXiv:2602.01067, 2026a.
50. Lin, X., Lian, S., Yu, B., Yang, R., Shen, Z., Wu, C., Miao, Y., Jin, Y., Shi, Y., He, J., Huang, C., Cheng, B., and Chen, K. Physbrain: Human egocentric data as a bridge from vision language models to physical intelligence, 2026b. URL https://arxiv.org/abs/2512.16793.
51. Liu, B., Zhu, Y., Gao, C., Feng, Y., Liu, Q., Zhu, Y., and Stone, P. LIBERO: Benchmarking knowledge transfer for lifelong robot learning. arXiv preprint arXiv:2306.03310, 2023.
52. Liu, I., Cheng, A.-C., Yan, R., Chen, G., Qiu, R.-Z., Zou, X., Yi, S., Yin, H., Wang, X., and Liu, S. Long-horizon manipulation via trace-conditioned vla planning. arXiv preprint arXiv:2604.21924, 2026a.
53. Liu, Y., Dong, Z., Ye, B., Yuan, T., Jiang, T., Yang, A., Cao, S., Liu, H., Sun, Y., Guo, Z., et al. G0.5: One autoregressive stream for robot reasoning and action. arXiv preprint arXiv:2608.11739, 2026b.
54. Liu, Z., Mao, H., Wu, C., Feichtenhofer, C., Darrell, T., and Xie, S. A convnet for the 2020s. CoRR, abs/2201.03545, 2022. URL https://arxiv.org/abs/2201.03545.
55. Luo, H., Wang, Y., Zhang, W., Zheng, S., Xi, Z., Xu, C., Xu, H., Yuan, H., Zhang, C., Wang, Y., et al. Being-h0.5: Scaling human-centric robot learning for cross-embodiment generalization. arXiv preprint arXiv:2601.12993, 2026a.
56. Luo, H., Zhang, W., Feng, Y., Zheng, S., Xu, H., Xu, C., Xi, Z., Fu, Y., and Lu, Z. Being-h0.7: A latent world-action model from egocentric videos. arXiv preprint arXiv:2605.00078, 2026b.
57. Lyu, J., Liu, K., Zhang, X., Liao, H., Feng, Y., Zhu, W., Shen, T., Chen, J., Zhang, J., Dong, Y., et al. Lda-1b: Scaling latent dynamics action model via universal embodied data ingestion. arXiv preprint arXiv:2602.12215, 2026.
58. M. Moerland, T., Broekens, J., Plaat, A., and M. Jonker, C. Model-based reinforcement learning: A survey. Foundations and Trends in Machine Learning, 16(1):1–118, 2023.
59. Ma, T., Zheng, J., Wang, Z., Jiang, C., Cui, A., Liang, J., and Yang, S. Dit4dit: Jointly modeling video dynamics and actions for generalizable robot control. arXiv preprint arXiv:2603.10448, 2026.
60. Maes, L., Lidec, Q. L., Scieur, D., LeCun, Y., and Balestriero, R. Leworldmodel: Stable end-to-end joint-embedding predictive architecture from pixels. arXiv preprint arXiv:2603.19312, 2026.
61. McKinzie, B., Gan, Z., Fauconnier, J.-P., Dodge, S., Zhang, B., Dufter, P., Shah, D., Du, X., Peng, F., Belyi, A., et al. Mm1: methods, analysis and insights from multimodal llm pre-training. In European Conference on Computer Vision, pp. 304–323. Springer, 2024.
62. Mu, S. and Lin, S. A comprehensive survey of mixture-of-experts: Algorithms, theory, and applications. arXiv preprint arXiv:2503.07137, 2025.
63. Mur-Labadia, L., Muckley, M., Bar, A., Assran, M., Sinha, K., Rabbat, M., LeCun, Y., Ballas, N., and Bardes, A. V-jepa 2.1: Unlocking dense features in video self-supervised learning. arXiv preprint arXiv:2603.14482, 2026.
64. Nasiriany, S., Maddukuri, A., Zhang, L., Parikh, A., Lo, A., Joshi, A., Mandlekar, A., and Zhu, Y. Robocasa: Large-scale simulation of everyday tasks for generalist robots. In Robotics: Science and Systems (RSS), 2024.
65. Nasiriany, S., Nasiriany, S., Maddukuri, A., and Zhu, Y. Robocasa365: A large-scale simulation framework for training and benchmarking generalist robots. In International Conference on Learning Representations (ICLR), 2026.
66. NVIDIA, Bjorck, J., Castañeda, F., Cherniadev, N., et al. GR00T N1: An open foundation model for generalist humanoid robots. arXiv preprint arXiv:2503.14734, 2025.
67. Pai, J., Achenbach, L., Montesinos, V., Forrai, B., Mees, O., and Nava, E. mimic-video: Video-action models for generalizable robot control beyond vlas. arXiv preprint arXiv:2512.15692, 2025.
68. Pan, C., Anantharaman, G., Huang, N.-C., Jin, C., Pfrommer, D., Yuan, C., Permenter, F., Qu, G., Boffi, N., Shi, G., et al. Much ado about noising: Dispelling the myths of generative robotic control. In International Conference on Learning Representations, volume 2026, pp. 90575–90614, 2026.
69. Peebles, W. and Xie, S. Scalable diffusion models with transformers. In 2023 IEEE/CVF International Conference on Computer Vision (ICCV), pp. 4172–4182. IEEE, 2023.
70. Physical Intelligence, Black, K., Brown, N., Darpinian, J., Dhabalia, K., Driess, D., Esmail, A., Equi, M., Finn, C., Fusai, N., et al. π0.5: A vision-language-action model with open-world generalization. arXiv preprint arXiv:2504.16054, 2025.
71. Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., et al. Learning transferable visual models from natural language supervision. In International conference on machine learning, pp. 8748–8763. PmLR, 2021.
72. Simchowitz, M., Pfrommer, D., and Jadbabaie, A. The pitfalls of imitation learning when actions are continuous. arXiv preprint arXiv:2503.09722, 2025.
73. Siméoni, O., Vo, H. V., Seitzer, M., Baldassarre, F., Oquab, M., et al. Dinov3. arXiv preprint arXiv:2508.10104, 2025.
74. Singh, J., Zheng, B., Wu, Z., Zhang, R., Shechtman, E., and Xie, S. Improved baselines with representation autoencoders. arXiv preprint arXiv:2605.18324, 2026.
75. Sun, N., Zhang, Y., Yang, Y., Zhao, W., Li, P., Guo, J., Song, W., Ding, P., Suo, R., Su, Y., et al. Revisiting embodied chain-of-thought for generalizable robot manipulation. arXiv preprint arXiv:2606.03784, 2026.
76. Team, G., Ye, A., Sun, A., Jin, C., Cheng, C., Shi, C., Shang, D., Zhang, D., Huang, G., Wang, G., et al. Gigabrain-0.7: Scaling embodied foundation models to emergent capabilities with a three-system architecture. arXiv preprint arXiv:2608.15875, 2026a.
77. Team, X. R., Guo, J., Jin, P., Li, J., Li, P., Li, Y., Liu, F., Peng, W., Qin, O., Su, Y., et al. Xiaomi-robotics-1: Scaling vision-language-action models with over 100k hours of real-world trajectories. arXiv preprint arXiv:2607.15330, 2026b.
78. Tian, Y., Yang, Y., Xie, Y., Cai, Z., Shi, X., Gao, N., Liu, H., Jiang, X., Qiu, Z., Yuan, F., et al. Interndata-a1: Pioneering high-fidelity synthetic data for pre-training generalist policy. arXiv preprint arXiv:2511.16651, 2025.
79. Tong, S., Brown, E., Wu, P., Woo, S., Middepogu, M., Akula, S. C., Yang, J., Yang, S., Iyer, A., Pan, X., et al. Cambrian-1: A fully open, vision-centric exploration of multimodal llms. Advances in Neural Information Processing Systems, 37:87310–87356, 2024.
80. Tong, S., Fan, D., Nguyen, J., Brown, E., Zhou, G., Qian, S., Zheng, B., Vallaeys, T., Han, J., Fergus, R., et al. Beyond language modeling: An exploration of multimodal pretraining. arXiv preprint arXiv:2603.03276, 2026.
81. Wan, T., Wang, A., Ai, B., Wen, B., Mao, C., Xie, C.-W., Chen, D., Yu, F., Zhao, H., Yang, J., et al. Wan: Open and advanced large-scale video generative models. arXiv preprint arXiv:2503.20314, 2025.
82. Wang, Q., Li, M., Guan, J., Ye, J., Xie, S., Liu, Y., Chen, J., Liang, Z., Zhang, J., Hu, X., et al. Qwen-vla: Unifying vision-language-action modeling across tasks, environments, and robot embodiments. arXiv preprint arXiv:2605.30280, 2026a.
83. Wang, Y. Instructions for Practical Living, and Other Neo-Confucian Writing. Columbia University Press, New York„ 1963.
84. Wang, Y., Syed, R., Wu, F., Zhang, M., Onol, A., Barreiros, J., Nayyeri, H., Dear, T., Zhang, H., and Li, Y. Interactive world simulator for robot policy training and evaluation. arXiv preprint arXiv:2603.08546, 2026b.
85. Wang, Z., Chen, Y., Liu, Y., Ye, J., Chen, P., Lu, C., Liu, S., Yu, B., and Jia, J. Vp-vla: Visual prompting as an interface for vision-language-action models. arXiv preprint arXiv:2603.22003, 2026c.
86. Wen, K., Hall, D., Ma, T., and Liang, P. Fantastic pretraining optimizers and where to find them. In International Conference on Learning Representations, volume 2026, pp. 144731–144838, 2026.
87. Wu, S., Liu, X., Xie, S., Wang, P., Li, X., Yang, B., Li, Z., Zhu, K., Wu, H., Liu, Y., et al. Robocoin: An open-sourced bimanual robotic data collection for integrated manipulation. arXiv preprint arXiv:2511.17441, 2025.
88. Xu, M., Zhang, H., Hou, Y., Xu, Z., Fan, L., Veloso, M., and Song, S. Dexumi: Using human hand as the universal manipulation interface for dexterous manipulation. In Conference on Robot Learning, pp. 437–459. PMLR, 2025.
89. Yang, L., Song, W., Wang, X., Sheng, P., Fang, Z., Zhou, Z., He, J., Yan, H., Chen, J., Sun, N., Sun, Q., Wang, P., Liu, L., Wang, Y., Gao, Y., Dayoub, F., and Li, H. 4d-wam: Infusing spatiotemporal awareness into world action models through trajectory fields, 2026a. URL https://arxiv.org/abs/2608.08023.
90. Yang, Y., Zeng, S., Lin, T., Chang, X., Qi, D., Xiao, J., Liu, H., Chen, R., Chen, Y., Huo, D., et al. Abot-m0: Vla foundation model for robotic manipulation with action manifold learning. arXiv preprint arXiv:2602.11236, 2026b.
91. Ye, A., Wang, B., Ni, C., Huang, G., Zhao, G., Li, H., Li, H., Li, J., Lv, J., Liu, J., et al. Gigaworld-policy: An efficient action-centered world–action model. arXiv preprint arXiv:2603.17240, 2026a.
92. Ye, J., Gao, N., Yang, S., Zheng, J., Wang, Z., Chen, Y., Chen, P., Chen, Y., Liu, S., and Jia, J. Starvla-α: Reducing complexity in vision-language-action systems. arXiv preprint arXiv:2604.11757, 2026b.
93. Ye, S., Ge, Y., Zheng, K., Gao, S., Yu, S., Kurian, G., Indupuru, S., Tan, Y. L., Zhu, C., Xiang, J., et al. World action models are zero-shot policies. arXiv preprint arXiv:2602.15922, 2026c.
94. Ye, Y., Fu, Y., Lv, Y., Hou, B., Cen, J., Kong, L., Zheng, D., Chen, T., Liu, J., Cao, Z., et al. Data pyramid for embodied manipulation. arXiv preprint arXiv:2607.24744, 2026d.
95. Yuan, H., Liang, Z., Chen, A., Wang, Y., Li, H., Lin, P., Huang, Y., Lei, Z., Zhang, T., Zhang, J., et al. Qwen-robotmanip technical report: Alignment unlocks scale for robotic manipulation foundation models. arXiv preprint arXiv:2606.17846, 2026a.
96. Yuan, T., Dong, Z., Liu, Y., and Zhao, H. Fast-wam: Do world action models need test-time future imagination? arXiv preprint arXiv:2603.16666, 2026b.
97. Zhang, H., Xiang, L., Lin, H., Huang, Z., Wang, M., Zhong, D., Dong, Y., Wu, Y., Rao, Y., Zhang, D., et al. Hy-embodied-0.5-vla: From vision-language-action models to a real-world robot learning stack. arXiv preprint arXiv:2606.14409, 2026a.
98. Zhang, Q., Li, L., Zhang, L., Yang, S., Luo, Y., Li, S., Wang, R., Wang, J., Shao, J., Xu, G., et al. Native video-action pretraining for generalizable robot control. arXiv preprint arXiv:2607.08639, 2026b.
99. Zhang, S., Xu, Z., Liu, P., Yu, X., Li, Y., Gao, Q., Fei, Z., Yin, Z., Wu, Z., Jiang, Y.-G., and Qiu, X. Vlabench: A large-scale benchmark for language-conditioned robotics manipulation with long-horizon reasoning tasks. arXiv preprint arXiv:2412.18194, 2024.
100. Zhang, S., Zhang, H., Zhang, Z., Ge, C., Xue, S., Liu, S., Ren, M., Kim, S. Y., Zhou, Y., Liu, Q., et al. Both semantics and reconstruction matter: Making representation encoders ready for text-to-image generation and editing. arXiv preprint arXiv:2512.17909, 2025a.
101. Zhang, T. T., Pfrommer, D., Pan, C., Matni, N., and Simchowitz, M. Action chunking and exploratory data collection yield exponential improvements in behavior cloning for continuous control. arXiv preprint arXiv:2507.09061, 2025b.
102. Zhang, Y., Zhang, W., Qi, Z., Zhang, H., Lin, H., Zhang, J., Mu, Y., Yang, X., Zeng, W., and Jin, X. Imagewam: Do world action models really need video generation, or just image editing? arXiv preprint arXiv:2606.19531, 2026c.
103. Zhao, T. Z., Kumar, V., Levine, S., and Finn, C. Learning fine-grained bimanual manipulation with low-cost hardware. arXiv preprint arXiv:2304.13705, 2023.
104. Zheng, B., Ma, N., Tong, S., and Xie, S. Diffusion transformers with representation autoencoders. In International Conference on Learning Representations, volume 2026, pp. 35791–35820, 2026a.
105. Zheng, J., Li, J., Wang, Z., Liu, D., Kang, X., Feng, Y., Zheng, Y., Zou, J., Chen, Y., Zeng, J., et al. X-vla: Soft-prompted transformer as scalable cross-embodiment vision-language-action model. In International Conference on Learning Representations, 2026b.
106. Zhong, L., Liu, Y., Wei, Y., Xiong, Z., Liu, S., and Ren, G. Acot-vla: Action chain-of-thought for vision-language- action models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 8152–8162, 2026.
107. Zhou, G., Pan, H., LeCun, Y., and Pinto, L. Dino-wm: World models on pre-trained visual features enable zero-shot planning. arXiv preprint arXiv:2411.04983, 2024.
108. Zhu, C., Yu, R., Feng, S., Burchfiel, B., Shah, P., and Gupta, A. Unified world models: Coupling video and action diffusion for pretraining on large robotic datasets. arXiv preprint arXiv:2504.02792, 2025.