FOCA

FOCA 完整中文学习笔记

论文： FOCA: Future-Oriented Conditioning for Data-Efficient Vision-Language-Action Adaptation
中文译名： 通过面向未来的条件表征，实现数据高效的视觉—语言—动作模型适配。
版本： 用户提供的 arXiv:2606.20867v1，正文与附录共34页。
阅读对象： 希望从概念、实现和实验三个层面理解论文的初学者。
笔记约定： 页码均指论文页脚页码；实验数字为作者报告的结果。本笔记没有独立复现实验。所有简化数值例子都会注明为教学示例。

贯穿笔记的例子是：机器人把桌上的碗拿起来，放到盘子上。

1. 论文到底干了什么

FOCA是一种用于已有预训练VLA模型的微调方法。它在原有动作训练之外，增加两个面向未来的辅助学习任务，让同一条示范提供更多监督。

普通动作训练主要直接约束：当前情况下，应该生成什么动作？

FOCA额外要求模型学习：

1. 显式未来预测： 当前情境下，未来的局部交互区域会呈现什么视觉特征？
2. 隐式未来对齐： 哪些未来状态与当前情境和任务相匹配？

这些训练目标会塑造VLM的内部表征，动作模型再利用这些表征生成动作。

论文主要将FOCA接入 π₀和GR00T-N1.5，验证少样本适配效果。它的主要贡献是改善已有模型的适配训练，而不是从零训练一个全新的机器人基础模型。

研究类别：预训练VLA的小样本微调／少样本适配。

“小样本”指真实示范少；“参数高效”指需要更新的参数少。两者不能混为一谈。FOCA默认实现更新大量参数，不等同于只训练少量参数的LoRA。

原文定位：第1—3页，引言与方法概述。

2. 理解论文需要的基础概念

概念	中文解释	本文中的例子
VLA	视觉—语言—动作模型	根据画面和“把碗放到盘子上”生成控制动作
VLM	视觉语言模型	处理图像与指令，形成内部表示
示范轨迹	一次完整操作的图像、状态与动作记录	人遥操作机器人完成一次放碗任务
行为克隆	使用示范动作监督机器人策略	看到夹爪位于碗两侧，学习闭合夹爪
微调／适配	用任务数据调整已有预训练模型	让π₀适应当前任务与机器人
token	模型处理的一组向量，可以不对应文字	FOCA新增的显式和隐式向量
embedding／特征	编码器把输入转换成的数值表示	图像转换成局部特征表
patch	图像中的一个小块及其对应表示	视觉编码器中的局部图像块
pooling／池化	将多组特征汇总成更少的表示	对图像块特征求平均
预测头／投影头	接在主模型后的小网络	将token输出转换为未来预测或对比向量
正样本	与当前输入匹配的训练目标	当前示范中的未来区域特征
负样本	用于对照的不匹配样本	其他任务的未来区域特征
loss／损失	衡量模型距离训练要求有多远的数值	预测特征的平方误差
反向传播	根据损失计算参数应如何调整	更新VLM、预测头与可学习token
action chunk	一小段连续动作	接下来若干步关节和夹爪控制值

一条示范包含许多时间步，不是一张图片。论文中的“每任务5条示范”，通常意味着该任务有5次完整操作记录。

3. 作者要解决什么问题

采集机器人示范需要设备、操作人员和时间。换任务、物体或工作环境时，重新采集大量示范的成本很高。

作者观察到，即使模型已有大规模预训练，在下游示范减少时，成功率仍明显下降。例如π₀在LIBERO上的平均成功率，由全量数据时的94.6%降至每任务约5条示范时的77.6%。

作者的切入点是：示范不足时，可以提高已有示范的监督利用率。

一条示范既包含“做了什么动作”，也包含“执行后发生了什么”。后续画面已经存在，可以拿来训练当前表征。

当前画面	动作监督提供的信息	未来观察提供的信息
夹爪靠近碗	接下来怎样移动、闭合夹爪	夹爪应该与碗形成怎样的交互
碗已经被抓住	接下来怎样抬起	碗应该离开桌面并随夹爪运动
碗位于盘子上方	怎样下降并松开	碗应该稳定地放到盘子上

普通训练也会使用后续帧作为各自时刻的输入。FOCA新增的是：显式建立当前情境与未来观察之间的训练关系。不能说普通行为克隆完全没有用到后面的图像。

原文定位：第1—2页；第6—8页实验Q1。

4. 为什么会想到这样设计

设计逻辑可以沿着五个问题理解：

1. 如何让少量示范提供更多监督？利用同一轨迹里的未来观察。
2. 预测整个未来画面是否过于复杂？把监督集中在任务相关对象与夹爪所在区域。
3. 是否必须重建像素？直接预测视觉特征，减轻纹理、背景等细节的学习负担。
4. 是否还需要区分不同任务的未来？加入对比学习，让当前表示与正确未来更匹配。
5. 如何把这些目标接进已有VLA？增加两组token，使它们同时连接当前信息、辅助监督与动作模型。

背后的原则是：训练目标会推动模型保留完成该目标所需要的信息。为了预测夹爪抓碗后的局部特征，模型可能更需要保留夹爪与碗之间的关系；为了区分“放到盘子上”和“放到炉子上”，模型需要利用指令与场景信息。

这些是设计动机，并不保证模型一定学到了完整物理规律或人类式规划。是否改善控制，需要实验验证。

5. 总体结构：先记住信息流

当前多视角图像 + 任务指令 + 显式token + 隐式token
                         ↓
                        VLM
                         ↓
           普通表征 + 显式输出 + 隐式输出
                         ↓
              动作模型读取上述表征
                         ↓
                    生成动作片段

训练时的辅助监督：
显式输出 → 预测头 → 未来区域特征回归
隐式输出 → 投影头 → 当前与未来的对比学习

原有VLM可以写为：

\[h_t=F_\theta(l,o_t) \]

FOCA加入两组token：

\[h_t,\tilde r_t^{\mathrm{exp}},\tilde r_t^{\mathrm{imp}} =F_\theta(l,o_t,r_t^{\mathrm{exp}},r_t^{\mathrm{imp}}) \]

符号	含义
\(o_t\)	当前多视角观察
\(l\)	任务指令
\(r_t^{\mathrm{exp}}\)	显式分支的输入token
\(r_t^{\mathrm{imp}}\)	隐式分支的输入token
\(\tilde r\)	相应token经过VLM处理后的输出
\(h_t\)	原有视觉语言表征

动作模型读取处理后的token。辅助预测头输出的未来特征，不是动作生成必须先得到的中间结果。

原文定位：第3页图1；第4页公式（1）—（3）。

6. 两组token从哪里来

6.1 默认显式token：一组可学习参数

研究者在模型中新增一组向量，建立模型时随机初始化，之后通过训练更新并保存。

随机初始化只发生在开始，不是每输入一张图就重新随机生成。

训练结束后，同一组学到的输入token可以在不同观察中复用。虽然进入VLM前的参数相同，但它们会通过注意力读取不同图像与指令，所以VLM输出会随情境变化。

附录的默认实现为每个视角4个显式token；LIBERO有两个视角，因此对应8个。

6.2 默认隐式token：从当前图像计算

每个视角的当前图像先经过冻结的视觉编码器，对图像块特征求平均，再经过可学习映射：

\[r_t^{\mathrm{imp},i} =W^{\mathrm{imp}}\left(\operatorname{Pool}(V(I_t^i))\right) \]

多个视角的结果再拼接起来。默认每个视角形成一个隐式token。

它们在进入VLM之前就随当前图像变化。训练更新的是生成、处理这些token的相关参数，而不是把每个样本产生的隐式向量都保存成独立模型参数。

对比	默认显式token	默认隐式token
来源	随机初始化后持续训练的参数	当前图像特征经池化与映射得到
进入VLM前是否随图像变化	本身不随当前图像变化	会
经过VLM后是否随情境变化	会	会
是否使用未来图像生成输入token	否	否

表3—4还测试了“两组都自适应初始化”。它略优于默认组合，说明默认初始化不是唯一可能方案。

原文定位：第4页§3.2—3.3；第9页表3—4；第17页D.1。

7. 显式未来预测：怎样实现

7.1 先确定监督区域

从同一条示范中采样当前时刻\(t\)与未来时刻\(t^+>t\)。根据指令找到未来画面中的相关物体与夹爪，再构造包围它们的最小外接矩形。

仿真实验使用模拟器分割掩码；真实机器人实验使用Grounding-DINO检测相关对象。

假设检测框坐标如下，数值仅用于教学：

对象	左上角	右下角
夹爪	\((30,40)\)	\((60,70)\)
碗	\((45,55)\)	\((90,90)\)
盘子	\((100,65)\)	\((150,100)\)

合并后的框为\((30,40,150,100)\)：左上角取最小坐标，右下角取最大坐标。

交互区域是围绕相关对象选择的矩形，不等于精确接触点，也不是只保留物体像素。它可能包含对象之间的背景。

7.2 从真实未来图像提取目标特征

冻结的视觉编码器提供未来区域的局部patch特征：

\[\tilde y_{t^+}^i =\operatorname{Patch}(I_{t^+}^i\mid B_{t^+}^i) \in\mathbb R^{N_p\times d_e} \]

\(N_p\)表示用于表示该区域的patch数量，\(d_e\)表示每个patch的特征维度。目标是一张数字表，不是人工写出的“碗已被抓住”等文字标签。

7.3 从当前情境预测未来特征

VLM处理后的显式token进入预测头，并结合未来区域框的位置编码：

\[\hat y_{t^+}^i =P_\omega^{\mathrm{exp}} \left(\tilde r_t^{\mathrm{exp}},PE(B_{t^+}^i)\right) \]

附录的预测头使用两个Transformer块、16个注意力头，随后映射到视觉特征空间；不同视角共享解码器。

未来框在训练中提供给辅助预测头。该分支不是独立预测未来框的位置。VLM形成动作条件表征的输入仍然来自当前图像、指令和两组token。

7.4 用平方误差比较

\[\mathcal L_{\mathrm{exp}} =\mathbb E_{t,t^+,i} \left[\|\hat y_{t^+}^i-\tilde y_{t^+}^i\|_2^2\right] \]

简化教学例子：

\[y=[0.2,0.8,0.5],\qquad \hat y=[0.3,0.6,0.5] \]

\[\|\hat y-y\|^2=0.1^2+(-0.2)^2+0^2=0.05 \]

真实计算比较对应patch和对应特征维度上的数值，再按训练设置汇总。若对元素数量取平均，就是常见的均方误差。

损失推动预测头、显式token和相关VLM参数调整。目标视觉编码器被冻结，使目标特征的提取规则保持固定。

为什么可能有效：为了预测局部交互，模型受到压力去保留夹爪、任务物体及其关系的信息。

有什么边界：视觉特征接近不等于物理执行必然正确。编码器可能对细微接触差别不敏感，所以动作监督仍然必要。

原文定位：第4页§3.2、公式（4）—（6）；第17、19页实现说明。

8. 隐式未来对齐：怎样实现

8.1 得到当前情境的对比向量

从当前图像生成的隐式token进入VLM，与视觉、语言共同交互，再通过投影头：

\[z_t^i=P_\psi^{\mathrm{imp}}(\tilde r_t^{\mathrm{imp}}) \]

这个向量表示当前情境，但训练会推动它包含与未来匹配有关的信息。附录中的隐式投影头使用单层线性映射。

8.2 构造正样本

同一条示范中，未来交互区域的视觉特征经过区域内池化，得到正样本：

\[y_{t^+}^i=\operatorname{Pool}(V(I_{t^+}^i)\mid B_{t^+}^i) \]

这里的池化应理解为汇总区域内特征。与显式目标的一组局部patch特征相比，它形成一个区域汇总向量。

正样本可以是未来中间帧，不一定是任务最后一帧。

8.3 构造负样本

论文主要从同一批次中、其他任务描述不同的示范中取负样本，采用相同的区域特征提取方式。

当前任务	候选未来	身份
把碗放到盘子上	当前示范中，碗移到盘子上方	正样本
把碗放到盘子上	其他任务中，碗放到炉子上	负样本
把碗放到盘子上	其他任务中，杯子放进柜子	负样本

负样本表示相对当前配对不匹配，不等于失败录像、坏图片或错误动作。另一个任务成功完成，也可以作为当前任务的负样本。

8.4 用InfoNCE学习相对匹配

\[\mathcal L_{\mathrm{imp}} =-\mathbb E\log \frac{\exp(s(z_t,y^+)/\tau)} {\exp(s(z_t,y^+)/\tau)+\sum_{y^-}\exp(s(z_t,y^-)/\tau)} \]

\(s\)为余弦相似度；\(\tau\)是温度参数。本笔记用\(\tau\)避免与损失权重混淆，原文这里使用\(\lambda\)。

余弦相似度比较向量方向：

\[s(z,y)=\frac{z^\top y}{\|z\|\|y\|} \]

温度缩放与Softmax将分数转换成候选中的相对概率。较小温度会让概率对分数差异更敏感，但不代表越小越好。

理解损失时，可以先记住：

\[L=-\log P(\text{正样本}) \]

正样本概率	损失约为
0.2	1.61
0.4	0.92
0.8	0.22

正确未来的概率越高，损失越小。如果三个候选分数相同，正样本概率只有\(1/3\)；即使三个分数都很高，模型也没有区分它们。

这个概率是在当前候选集合中的匹配概率，不是机器人任务成功率。

原文定位：第4—5页§3.3、公式（7）—（11）。

9. 为什么两个分支可以互补

对比	显式分支	隐式分支
训练形式	回归未来特征	对比学习
核心要求	预测数值接近目标	正确未来比负样本更匹配
目标表示	局部patch特征	区域池化后的向量
学习倾向	有助于预测交互细节的信息	有助于区分任务相关未来的信息
可能问题	多种合理未来可能被平均	可能依赖简单任务线索，负样本选择影响效果

“显式”不表示输出一定能被人直接看懂；它仍然预测潜在特征。“隐式”也不表示没有输出，而是通过匹配关系塑造未来相关表示。

作者还用注意力掩码阻断两组token之间的直接交换，同时保留它们读取共享视觉语言信息的能力。这样希望减少两个监督任务之间的干扰。

阻断直接注意力不等于两组表征完全独立。它们仍然共享模型与上下文；互补性需要通过消融实验验证。

原文定位：第5页§3.4；第7—9页消融实验。

10. 动作模型怎样生成动作

论文采用流匹配形式描述动作训练。动作模型接收机器人状态、带噪动作、生成进度，以及普通表征和两组token输出。

用\(\mathbf a_t\)表示示范动作片段，\(\epsilon\)表示高斯噪声，\(\rho\in[0,1]\)表示生成进度：

\[\tilde{\mathbf a}_{t,\rho} =\rho\mathbf a_t+(1-\rho)\epsilon \]

在训练中，这构造了从噪声到真实动作的一条插值路径。它的目标变化率是：

\[\frac{d\tilde{\mathbf a}_{t,\rho}}{d\rho} =\mathbf a_t-\epsilon \]

动作模型学习预测这个变化率：

\[\hat v=A_\phi\left(s_t,\tilde{\mathbf a}_{t,\rho},\rho \mid h_t,\tilde r_t^{\mathrm{exp}},\tilde r_t^{\mathrm{imp}}\right) \]

\[\mathcal L_{\mathrm{fm}} =\mathbb E\left[\|\hat v-(\mathbf a_t-\epsilon)\|^2\right] \]

教学例子：若一个归一化动作值为\(0.8\)，噪声为\(-0.4\)，则路径从\(-0.4\)开始，\(\rho=0.5\)时为\(0.2\)，终点为\(0.8\)；目标变化率为\(1.2\)。

这个“变化率”不是机械臂在空间中的运动速度，\(\rho\)也不是任务真实时间。它们描述内部动作向量的生成过程。

部署时没有示范答案，模型从随机噪声出发，根据当前条件预测方向并逐步积分，得到动作片段。噪声只作为内部生成起点，不会直接作为随机控制指令发送给机器人。

GR00T-N1.5主要通过最终VLM特征与动作模型交叉注意力连接；π₀通过层间的特征交互实现条件化。接入具体骨干时需要遵循其结构。

原文定位：第4页公式（3）；第5页公式（12）—（13）。

11. 一次完整训练，以及训练和执行的区别

真实示范上的一次训练可以按以下顺序理解：

1. 采样当前观察、指令、机器人状态和对应动作片段。
2. 从同一轨迹采样未来观察，准备未来区域框与冻结视觉特征目标。
3. 使用可学习显式token；从当前图像计算隐式token。
4. 当前图像、指令和两组token一起通过VLM。
5. 显式输出经过预测头，与未来局部特征计算误差。
6. 隐式输出经过投影头，与正负未来计算对比损失。
7. 动作模型读取相关表征，计算流匹配动作损失。
8. 加权汇总损失，反向传播并更新可训练参数。

总目标更一般地写为：

\[\mathcal L=\mathcal L_{\mathrm{fm}} +\lambda_{\mathrm{exp}}\mathcal L_{\mathrm{exp}} +\lambda_{\mathrm{imp}}\mathcal L_{\mathrm{imp}} \]

正文简写为三项直接相加，附录实现明确提到显式损失权重为0.1。不能只按正文简写假定所有实际权重都相同。

项目	训练阶段	实际执行阶段
当前图像与指令	需要	需要
示范中的未来图像	用于辅助监督	不需要
未来交互区域框	用于辅助目标和显式预测头	不需要
正负样本集合	用于对比损失	不需要
两组token的VLM计算	需要	需要
辅助未来预测／投影头	用于训练损失	不必用于动作生成
根据损失更新参数	会	按本文部署方式，不会

执行中，摄像头输入不断变化，token输出也随之变化。这是固定参数下的重新计算，不代表在线训练。

“修正token到正确位置”容易造成误解。训练改变的是数值表征及相关参数，不是把token放到某个真实空间位置。隐式特征空间中的接近，也不等于物体实际距离接近。

12. 没有动作标签的视频为什么也能用

普通动作训练需要图像与动作的对应关系。只有视频时，我们看得到场景变化，却通常没有每一步关节或夹爪控制标签。

一种路线是用逆动力学模型从画面推断伪动作，但相同视觉变化可能对应不同控制方式，合成视频的错误还会增加推断难度。

FOCA的隐式目标只需要当前、未来画面及任务信息。因此可以：

1. 用真实示范适配视频世界模型。
2. 根据任务描述和初始画面生成合成视频。
3. 利用合成视频训练隐式未来对齐。
4. 再结合真实动作示范训练机器人控制能力。

无动作监督指辅助表征学习可以不依赖动作标签，不代表整个机器人策略完全不需要动作数据。

论文的一般表述允许可用区域监督下的无动作未来学习；实际DreamGen方案重点采用隐式对齐，放宽了精确区域定位的要求。

需要区分方法概述与表2的具体实验：§4.1描述了先视频训练、再在真实示范上联合训练的课程；Q2明确说明表2的FOCA(Imp.)和FOCA(D.G.)对照关闭显式分支。取得95.7%的D.G.版本是合成视频隐式预训练后，继续进行真实动作监督与隐式对齐。

原文定位：第5页§4.1；第7页表2；第8页Q2；第20—22页DreamGen实现。

13. 理论部分：为何称为“类似价值函数”

13.1 先理解折扣未来占用

设\(\mu\)为产生示范的行为策略，\(x\)为当前情境，\(g\)为未来交互特征。定义：

\[\rho^\mu(g\mid x) =(1-\gamma)\sum_{k=1}^{\infty} \gamma^{k-1}\Pr_\mu(g_{t+k}=g\mid x) \]

它把未来不同时间遇到\(g\)的概率加权汇总：近处未来权重大，较远未来权重小。

如果未来时间差按几何分布采样：

\[\Pr(k)=(1-\gamma)\gamma^{k-1} \]

那么正样本的条件分布就对应这个折扣占用分布。几何分布的平均时间差为\(1/(1-\gamma)\)；这是数学性质，不是论文选定超参数的声明。

“占用”考虑未来各时刻的访问情况，不能简单等同于最终成功率。

13.2 对比学习在理想条件下估计密度比

在定理假设和总体最优条件下，最优分数为：

\[f^*(x,g)=\log\rho^\mu(g\mid x)-\log p_{\mathrm{neg}}(g)+c(x) \]

可以读作：当前情境下这个未来有多常见，相对于负样本分布中它有多常见。

\(c(x)\)与候选未来\(g\)无关，在同一情境的Softmax中会抵消。这个最优分数是对数密度比，不是已经校准好的成功概率。

这个结论来自标准对比学习的分类解释：辨认哪个候选来自正样本分布，最优判别要比较正、负分布的密度比。

13.3 为什么与价值有关

如果把遇到目标\(g\)设为奖励，折扣累积的目标访问就与价值函数对应，并满足Bellman式递推。例如完整状态条件下：

\[V_g^\mu(s) =(1-\gamma)\Pr(g_{t+1}=g\mid s_t=s) +\gamma\mathbb E[V_g^\mu(s_{t+1})\mid s_t=s] \]

但FOCA的隐式分支没有把候选动作作为上下文输入，因此更接近示范策略下的状态条件占用／价值式表示。不能直接把它称作已经学习了\(Q(s,a)\)，也不能据此认定算法执行了强化学习策略改进。

压缩后的表示能否作为充分的马尔可夫状态，也是严格套用Bellman解释时需要考虑的问题。

13.4 显式平方误差估计条件均值

对于平方误差，最优预测为：

\[\hat g^*(x)=\mathbb E[g\mid x] \]

因为：

\[\mathbb E[\|\hat g-g\|^2\mid x] =\|\hat g-\mathbb E[g\mid x]\|^2 +\mathbb E[\|g-\mathbb E[g\mid x]\|^2\mid x] \]

第二项与预测值无关，所以令第一项为零得到最优解。若存在多种合理未来，条件均值只是一种汇总，不能完整表达所有模式。严格对应实际显式预测头时，其已提供的区域位置等条件也应包含在条件变量中。

13.5 理论与实现的边界

• 正文理论使用几何采样，图3消融的默认单帧写作\(t+10\)。固定时间差学习的是固定步数未来分布，不能直接等同于几何采样的折扣占用。
• 定理假设负样本分布独立于当前情境，而实际负样本排除了当前任务，带有任务条件依赖。严格解释需要处理这种差别和分布支持条件。
• 总体最优、充分模型表达能力等假设，不保证有限数据、受限余弦分数模型恰好达到相同结果。
• 未来匹配理论不等于实际控制成功率保证，也不自动证明策略超过示范行为。

原文定位：第5—6页§4.2；第28—34页附录F。

14. 附录理论还能告诉我们什么

多帧采样：若不同未来时间差按分布\(\nu(k)\)采样，学习的是不同时间跨度未来分布的混合。增加未来帧数量不自动保证控制更好。

对象关系：把多个对象的未来关系分解为独立部分，需要额外假设。真实操作存在接触、遮挡和耦合动力学，不能把每个对象当作完全独立。附录用分解残差表示这种近似的误差。

合成数据：若在固定情境下，以比例\(\alpha\)混合真实和合成正样本，目标分布可写为：

\[\rho_{\mathrm{mix}}=(1-\alpha)\rho^\mu+\alpha\tilde\rho \]

其中\(\tilde\rho\)来自合成视频。这意味着合成视频会改变模型学习的未来分布；视频错误可能带来偏差。该混合分析不应直接视为实际两阶段训练的完整等价描述。

附录的鲁棒性界要求合成与真实分布满足较强的相对误差条件。物体消失、瞬移、错误接触等幻觉可能破坏这些条件，因此不能宣称FOCA对任意视频幻觉都有保证。

占用与通用价值：如果知道未来占用，就可以通过对不同目标奖励函数求期望计算相应价值。这个理论联系解释了未来分布为何有用，但论文没有把所有这种潜在用途都实现为控制算法。

15. 实验结果：哪些提升真正支持论文主张

15.1 LIBERO的主要比较

LIBERO原始数据包含4个任务套件、每套件10个任务，每任务50条示范。作者回放、过滤无效动作和失败示范后保留1676条，平均每任务约41.9条。

论文将每任务5条与20条的设置称作10%与40%；这些是实验设置名称，不能简单当作过滤后总数的精确比例。正文将全量概括为约43条／任务，按附录总数计算应理解为平均约42条，任务之间可能不同。

每任务进行50次评估。

方法	每任务约5条	每任务20条	全量
π₀	77.6%	89.9%	94.6%
GR00T-N1.5	78.2%	91.4%	94.6%
EO-1	82.2%	91.0%	94.1%
SmolVLA	77.3%	90.3%	92.5%
FOCA，基于π₀	85.3%	94.0%	96.6%

最直接的同骨干比较是π₀与FOCA：约5条时提高7.7个百分点，20条时提高4.1个百分点，全量时提高2.0个百分点。

20条的FOCA达到94.0%，接近全量π₀的94.6%，是支持数据效率改善的重要证据。

“77.6%→85.3%”应写作提高7.7个百分点；不要把它与相对提升百分比混写。

15.2 与参数高效方法比较

表1在约5条示范设置中报告：ControlVLA为78.4%，LoRA为78.2%，DoRA为78.6%，FOCA为85.3%。

这表明在这些设置中，增加未来监督比这些对照适配方式获得了更高成绩。它不意味着FOCA不能与参数高效微调结合，也不证明所有LoRA配置都不如FOCA。

15.3 合成视频实验要单独理解

方法	每任务约5条	每任务20条	全量
π₀	77.6%	89.9%	94.6%
IGM伪动作路线	76.8%	90.2%	94.3%
FOCA，仅隐式分支	83.6%	93.0%	95.8%
FOCA，隐式分支＋DreamGen	86.4%	95.7%	96.7%

95.7%的完整条件是：每任务20条真实示范，加上合成视频隐式预训练，再结合真实动作与隐式监督。

IGM在这组实验中没有稳定收益，不能据此断言所有伪动作方法普遍无效。

15.4 RoboCasa验证跨骨干效果

作者选择5个任务，在每任务30条和100条示范下，验证π₀和GR00T-N1.5。每任务进行50次评估。

表7中，GR00T-N1.5在100条示范下的结果为：

任务	基础模型	加入FOCA
柜子→台面	28%	30%
台面→柜子	40%	36%
咖啡机摆杯	12%	10%
关炉子	14%	24%
开微波炉	36%	72%
平均	26.0%	34.4%

平均提高8.4个百分点，但部分任务下降，开微波炉贡献很大。不能把平均改善表述为每个任务都稳定改善。

该表的基线数值与图10中同名设置有差异，例如图中的基线平均约23.6%。本笔记只在表7内部比较26.0%与34.4%，不把不同图表的基线和增益混用；复现时应核对具体配置。

15.5 真实机器人与仿真必须分开

ALOHA全数据设置中，图3报告：

任务	基础模型	FOCA
开包	25%	45%
摆餐具	10%	45%
系鞋带	70%	95%

开包收集100条示范；摆餐具与系鞋带各300条。因此，这些真实任务的40%数据分别是40条或120条，不等于LIBERO的5条或20条。

摆餐具的表8另报告：40%数据下π₀为10%、FOCA为20%、FOCA＋DreamGen为55%；全数据下分别为10%、45%、60%。

附录还报告UR5平台结果。例如抽纸任务全数据从20%提高到45%。但附录的Handle Bulk Material任务出现正文与图18不一致：正文写30%→50%，图中基线柱标为40%。不要将这个有冲突的基线作为确定结论引用。

58%→84%的26个百分点提升属于MuJoCo仿真人形机器人Place Part任务。摘要将“up to 26%”放在真实机器人表述中容易造成误解，应以实验细节区分。

原文定位：第6页表1；第7页图3、表2；第9页表7—8；第21页图10；第23—28页实验设置。

16. 消融实验：哪些设计有效

消融问题	结果	能支持的判断
两个分支是否互补	约5条时显式79.2%、隐式83.6%、完整85.3%	在该设置下联合使用更好，隐式单独贡献较大
特征预测还是像素预测	40%时局部潜在预测93.3%，整图像素90.9%，局部像素91.4%	局部特征预测更适合这组实验
显式token数量	约5条时2个76.6%、8个79.2%、18个76.4%	数量不是越多越好
单帧或多帧隐式对齐	单帧83.6%，多帧83.3%	更多未来帧没有自动带来收益
隐式目标是否聚焦区域	区域目标83.6%，整图目标81.7%	任务相关区域有帮助
初始化方式	40%时两组随机91.7%，默认约94.0%，两组自适应94.3%	视觉相关初始化有帮助

与重新实现的未来方法比较，40%数据的π₀＋DreamVLA为92.1%，π₀＋FLARE为91.0%，FOCA为94.0%。这支持在作者统一设置下FOCA的效果，但重新实现结果不能无条件代表原方法在所有训练条件下的最佳能力。

消融结果是在具体数据、训练和评估配置下得到的。它们支持设计选择，不构成普遍最优性的证明。

17. 复现时要准备什么，计算成本有多大

数据准备

• 保留完整轨迹顺序，使当前与未来帧能够正确配对。
• 保留任务描述、动作片段、机器人状态及多视角同步关系。
• 构建任务相关对象与夹爪区域；模拟器可提供高质量掩码，真实场景要处理检测误差。
• 构建含不同任务的训练批次，才能产生论文使用的跨任务负样本。
• 明确未来采样策略、轨迹末端处理和目标特征尺寸对齐方式。

模型与超参数

设置	附录报告
π₀，LIBERO批大小	18
π₀，RoboCasa批大小	12
π₀学习率／最大步数	\(10^{-4}\)／100k
GR00T-N1.5，RoboCasa批大小	32
GR00T-N1.5学习率／最大步数	\(10^{-4}\)／60k
显式预测头	两个Transformer块，16个注意力头
每视角显式query数	4
显式损失权重	0.1
隐式投影头	单层线性映射

这些不是完整可复现配置。区域特征的具体对齐、温度、采样超参数等仍应以实际代码和配置核对，不能用常见默认值冒充论文设置。

参数与训练开销

模型	原总参数量	加入FOCA后	可训练参数变化
π₀	3.5B	3.6B	3.1B→3.2B
GR00T-N1.5	2.4B	2.5B	1.1B→1.2B

训练设置	基线	FOCA	作者使用资源
π₀，LIBERO	约18小时	约21小时	4张H100
π₀，RoboCasa	约20小时	约23小时	4张H100
GR00T-N1.5，RoboCasa	约11小时	约13小时	1张H100

DreamGen路线还有世界模型适配、视频生成及无动作表征训练的额外成本。表10使用另外的阶段性硬件配置，不能直接把这些时长与上述基线当成完全统一的计算预算。

数据效率与计算效率是两个问题。FOCA节省真实示范的潜力，不代表训练成本更低，也不代表部署完全没有额外计算。

原文定位：第17—22页附录D。

18. 应怎样评价这篇论文

支持较充分的贡献

• 提出了可以接入已有VLA的未来辅助训练机制。
• 相同真实示范预算下，在主要少样本设置中提高成功率。
• 实验支持局部特征预测与未来对比学习存在互补性。
• 演示了无动作合成视频可以通过表征学习帮助机器人适配。
• 在不同骨干、仿真环境和真实机器人任务上提供了验证。

仍然存在的局限

• 缺少持久任务状态、显式记忆与任务分解，复杂多阶段操作可能混淆。
• 主要验证扩散／流匹配类VLA；推广到自回归VLA仍是后续方向。
• 目标区域质量会影响监督；仿真中的高质量掩码不等同于真实检测条件。
• 未来特征与控制所需精细物理信息之间仍可能存在差距。
• 合成视频会改变学习分布，幻觉鲁棒性没有无条件保证。
• 不同任务改善不均匀，一些任务下降；不能只看平均分。
• 主要结果未系统展示多次训练的均值与标准差，小幅差异的稳定性需更多证据。
• 图表、正文与附录在部分设置和数值上存在不一致，复现应核对。

“学到了未来相关表示”比“拥有完整规划能力”更贴近本文证据。“辅助损失改善少样本适配”比“已经解决小样本机器人学习”更准确。

19. 我们讨论过的易混点

容易混淆的说法	更准确的理解
未来token自动知道未来	未来能力来自输入、监督、参数更新与动作训练的共同作用
显式token每次都重新随机产生	默认只在初始化时随机，之后作为参数学习与保存
隐式token也是一组固定参数	默认由当前图像特征计算；相关映射参数可学习
显式输出就是未来照片	输出的是未来交互区域特征
隐式分支没有输出	它输出对比向量，通过匹配关系接受监督
负样本就是失败操作	可以是其他任务的成功画面，只是当前配对不匹配
只要正样本分数高就够	需要相对于负样本更匹配；全部同分仍不能区分
匹配概率就是任务成功率	它是当前候选集合中的相对概率
真实未来特征来自预测动作	它来自训练示范中的真实未来图像
预测头独立预测未来框	原文显式头接收训练时提供的未来框位置编码
执行中token变了就是在训练	参数可保持固定，输出因当前输入变化而变化
使用时还得提供未来画面	未来画面与目标框用于训练，部署不需要
小样本等于少参数	小样本指示范少；默认FOCA仍更新大量参数
无动作视频可以完全替代动作数据	它提供辅助表征监督，控制仍依赖真实动作训练
20条示范独立带来95.7%	是每任务20条真实示范加合成视频的特定隐式版本
26个百分点来自真实人形机器人	该58%→84%结果来自MuJoCo仿真
理论证明FOCA在做Q学习	当前隐式目标不以候选动作为条件，且没有完整RL策略改进

20. 自测题与答案

先独立回答，再看后面的答案。能解释原因，比能重复术语更重要。

1. FOCA属于预训练、微调还是在线执行时学习？
2. 一条示范为什么能同时提供动作监督和未来监督？
3. 默认显式token和隐式token分别从哪里来？
4. 显式分支的真实目标来自哪里？预测头是否接收未来区域位置？
5. 显式预测误差具体如何计算？
6. 负样本为什么不一定是失败画面？
7. 三个候选匹配分数都很高且相同，模型是否学好了？
8. 两个分支的监督形式有何不同？
9. 动作模型读取的是处理后的token，还是必须先解码的未来照片？
10. 为什么执行时token会变化，却不代表参数在训练？
11. 没有动作标签的视频可以提供哪种监督？缺少哪种直接监督？
12. 94.0%与95.7%对应的设置有什么区别？
13. 理论中的折扣占用为何依赖未来采样方式？
14. 为什么不能直接把隐式分支称为\(Q(s,a)\)？
15. 论文最有说服力的一项数据效率证据是什么？

参考答案

1. 主要是预训练VLA的小样本微调／适配；本文部署时不持续在线更新参数。
2. 同一轨迹记录了当前动作，也记录了后续场景变化，能够形成当前—未来配对。
3. 默认显式token是可学习参数；隐式token由当前视觉特征池化并映射得到。
4. 目标来自示范未来图像的冻结视觉特征；显式辅助预测头接收未来框的位置编码。
5. 对预测和目标的对应特征元素计算平方差，并按损失定义汇总。
6. 正负表示是否与当前配对匹配；其他任务的成功未来仍可以不匹配当前任务。
7. 没有。三者概率约相等，正样本仍无法被区分；三个候选时约为\(1/3\)。
8. 显式回归具体特征，隐式学习相对于负样本的匹配关系。
9. 动作模型读取VLM处理后的token等表征，不要求先生成未来照片。
10. 相同模型参数遇到不同输入会产生不同输出；训练还需要损失驱动的参数更新。
11. 可提供当前—未来表征监督；缺少直接的机器人动作标签监督。
12. 94.0%是20条／任务真实示范的完整FOCA；95.7%是表2的隐式分支＋DreamGen版本。
13. 几何采样对应折扣未来占用，固定时间差对应固定步数未来分布。
14. 当前隐式上下文没有候选动作，更接近状态条件的未来占用／价值式表示。
15. 例如20条示范FOCA为94.0%，接近全量π₀的94.6%；或约5条时同骨干从77.6%提高到85.3%。

21. 汇报时可以使用的表述

FOCA研究预训练VLA在少量示范下的适配问题。作者发现，除了动作标签，示范中的未来观察还能提供额外监督，因此在VLM中加入显式和隐式两组token。显式分支预测任务相关交互区域的未来视觉特征，隐式分支通过对比学习，让当前表征与同一轨迹的未来更匹配。处理后的token同时参与动作生成，使未来监督能够影响控制表示。LIBERO实验中，每任务约5条示范时，π₀加入FOCA后从77.6%提高到85.3%；20条示范时达到94.0%，接近基础模型全量训练的94.6%。使用合成视频的特定隐式版本达到95.7%。该方法改善了真实示范利用率，但仍依赖动作训练，存在计算开销、区域监督质量和长任务记忆等限制。