具身智能paper
具身智能paper
BeyondMimic
-
Agility
能跳跃、翻滚、踢腿等高动态运动
-
Naturalness
动作在视觉和力学表现上接近人类
-
Versatility
能组合技能,适应训练时没见过的任务
-
翻滚等 Contact-Rich Skill 的接触模式尤其难以手工规划(Model-Based Control )
-
AMP
利用对抗训练,鼓励策略生成符合人体运动数据分布的动作
-
Planner–Controller Mismatch
Planner 可能要求机器人在 0.2 秒内从跑步切换为侧手翻,然而底层控制器未必能从当前速度和身体姿态进入目标动作
-
VAE-Based Multi-Skill Policy
泛化能力可能不足(动作相比图像,维度更高)
-
作者想针对新目标重新组合技能
-
首先用RL policy分别学习motion tracking
-
\[\mathcal L_{\mathrm{VAE}} = \mathbb E_{z\sim q_\mathcal E} \left[\|\hat a-a\|^2\right] + \beta D_{\mathrm{KL}} \left(q_\mathcal E(z\mid\psi,e_{\mathrm{anchor}}) \| \mathcal N(0,I)\right) \]
即重建项和KL项,z比较像一个连续、低维的运动控制意图,解码的时候结合当前机器人的状态和观测
-
diffusion生成策略,使用cfg进行任务条件控制,使采样出的轨迹既接近训练的分布,又能实现任务目标
-
短时域预测无法独立进行复杂规划
-
未建模复杂的环境状态
SONIC
-
训练一个unified motion token,vla可以生成这个space里的motion token,然后用motion tracker去解码出动作
-
\[\mathcal L = \mathcal L_{\mathrm{PPO}} +\lambda_{\mathrm{rec}}\mathcal L_{\mathrm{rec}} +\lambda_{\mathrm{align}}\mathcal L_{\mathrm{align}} +\lambda_{\mathrm{cycle}}\mathcal L_{\mathrm{cycle}} \]
-
PPO Loss 负责学习物理上可执行的控制,其余三个 Loss 负责学习统一的 Motion Token 表示
-
扩大了训练的规模,把很多不同动作都放到这个motion space里
supermimic
-
PPO通过采样回报来估计策略梯度,不需要知道动作如何改变环境状态
策略梯度由概率加权形式的reward对参数求导得到,而不是直接对reward的计算过程求导
-
用可微动力学模型可以获得策略梯度,具体实现是3层mlp,因为数据只覆盖一个比较小的状态空间,不涉及复杂的环境交互
-
用BPTT训练策略,同时预测终止概率来计算GAE
∇Mimic
- 对可微的物理仿真器 BPTT
- 需要裁剪梯度,来避免极端值
- 用一种action target复用BPTT的梯度,提升训练效率
Fast Adaptation and Stable Motion Tracking
-
参考动作不稳定时,主动降低 Tracking Reward,并增大稳定性奖励
(用CoM-CoP质心-合力作用点距离来估计)
-
Residual Policy Adaptation
在遇到新动作分布时训练一个相对小的 Delta Policy
-
Parseval Regularization
让权重近似正交,即列向量相互正交,并具有相同的范数;目的是让Residual 对输入变化的敏感度具有一个上界
另外,正交化特征方向能够改善网络条件数,让 Residual 在多个特征方向上进行探索,而不是过分集中于少数方向
HumanoidNDM
-
sim-to-real的域随机化始终有分布外的情况
-
真机ppo采样效率低,且有安全风险
-
FENCE:在频域修改机器人所追踪的目标运动,而不是扰动电机命令,防止抖动
具体地,在fft后的低频分量上添加噪声
为了使 IFFT 后的信号为实数,负频率部分使用共轭对称
-
Tracking Error 加权:某些状态更值得探索,例如机器人跟踪误差很大的状态
-
用 Multi-Armed Bandit 自动选择扰动强度:平衡未探索过的地方和覆盖得分
-
主要面向 time-invariant disturbances,如果手中负载突然改变会失效
-
MoCap-Free:
使用前向动力学计算各身体 Link 的局部位置和旋转,然后计算loss
相当于用 \(J^\top J\) 对不同关节误差进行结构化加权
-
residual model
通过 BPTT finetune 原有 Policy,和supermimic差不多,但只优化Tracking Error,不学习 Critic/Value Function
GigaBrain-WBC-0.5
- 动作是否可以执行,取决于周围的物理条件
- 网络输入six seven维本体感知状态,29维上一步关节 PD Target,64维参考运动编码(未来10帧的运动参考encode成latent)
- 用6-Layer Causal Transformer感知大约3.7s内的状态/接触历史,形成对外部环境负载的隐式估计
- 预测action/state:输出动作和下一状态,鼓励机器人预测环境造成的状态差别,但训练只用了单步的状态预测梯度,多步策略奖励梯度还是ppo
- 预测一个 Gaussian Mixture Model 形式的下一步 Latent Command 的条件概率分布,用于筛选当前命令是否合理(符合分布),并向gaussian中心截断来修正命令
RWM-U
-
为什么普通 World Model 在 Offline RL 中容易失败
训练数据覆盖有限,world model产生的rollout在没覆盖到的地方容易出现错误的高reward
-
用五个prediction head的mean的variance衡量不确定性
-
MOPO-PPO:用worldmodel收集rollout,奖励减去模型预测的不确定性惩罚
BFM-Zero
希望把Goal Reaching、Motion Tracking、Reward Maximizaition的任务统一到一个可复用的行为空间,从里面采样\(z\),然后预测$a_t=\pi_\theta(o_{t,H},z) $
-
Successor Measure
\[M^\pi(s'\mid s,a) = \sum_{k=0}^{\infty} \gamma^k P(s_{t+k}=s'\mid s_t=s,a_t=a,\pi) \]如果某个未来状态 (s') 很容易到达,或者会被反复访问,它的权重就会较大
这样可以直接计算累计回报:
\[Q_r^\pi(s,a) = \int M^\pi(ds'\mid s,a)r(s') \] -
M的估计:
\[M^{\pi_z}(ds'\mid s,a) \approx F(s,a,z)^\top B(s')\,\rho(ds') \]其中F是未来访问行为的函数,B是未来某个状态的特征,类似KV
-
对任意reward \(r(s)\),我们尝试用B去编码得到$z_r=\mathbb E_{s\sim\rho}[B(s)r(s)] $ ,这样$Q_r(s,a)\approx F(s,a,z_r)^\top z_r $
构造$ C=\mathbb E_\rho[B(s)B(s)^\top] $,反映各个特征的尺度和相关性
以及\(\phi(s)=C^{-1}B(s)\),满足\(\mathbb E_\rho[B(s)\phi(s)^\top]=I\),\(\phi\) 的作用是补偿 B 特征的尺度与相关性,这样对任意z我们可以得到它对应的奖励函数\(r_z\): \(\phi(s)^T z_r = r_z(s)\)
-
训练时给每个环境采样一个z,让每个z对应一种环境和奖励
-
训练的FBloss,大概是让访问分布在每步之间一致,同时提高下一步在分布中的概率(这样访问的总步数越多,总概率就越高)
-
这种投影到B特征空间的做法有局限,B如果没覆盖某些特征,就很难表示某些行为
P-BFM
-
任务目标编码的B不接受环境的状态,只编码“任务意图”,环境只在F里
让执行行为的网络接受环境输入:\(\pi(o_t, z_t, h_t^{vis})\)
-
再加一个明确指令输入,比如设置前进速度,但不限制移动方式,将全身动作风格与全局移动目标拆开
LATENT
- Stage1: 训练Motion tracker
- Stage2:和BeyondMimic类似,把Tracker蒸馏进一个Latent Action Space,再训练一个Conditional Prior,表示按现在的状态,接下来会选择什么latent
- Stage3:高层planner输出latent,经过conditional prior的一个限制
VideoMimic
- 从视频里学习物理控制
- 联合重建人体和3D场景
- 先用干净的Mocap数据PPO训练tracker
- 然后加入Height Map,地形特征通过一个初始输出为零的残差投影注入已有 Policy,在视频重建的对应场景中,用 PPO 跟踪参考动作
- 然后用DAgger把上面带参考动作的Teacher蒸馏到没有参考动作的学生模型里,逐渐把参考动作转移到对地形的相关性上
- 最后进行PPO Fine-Tuning,优化实际表现
- 没有Task Intent,移动目标其实比较模糊,比较地形和动作之间的相关性(比如有一个椅子,给出向后的移动目标,推断出“坐下“,但实际上没有输入”坐下“的指令)
PGMT
想让Motion Tracker 根据地形自动修改动作
- 首先与训练tracker,输入仍然是本体感觉、历史和参考动作,用了一个历史查询模块来查询参考动作,大概意思是要选择关注参考轨迹中的哪些部分
- 然后注入地形感知,Terrain Glimpses的设计意图是对地形的感知应该取决于目前的动作,设计了一个在terrain上裁剪出一个窗口的网络,然后把局部地形特征融合进之前的transformer
- Tracking和地形冲突时,对Tracking Error对修改:$ \hat e=\max(0,e-\delta) $,其中 \(\delta\) 是允许的动作偏离范围,取决于地形难度和松弛程度;实际训练的时候只对下半身启动松弛,上半身严格跟踪
- 把critic的价值函数拆成下半身、上半身、地形等独立的critic head,避免多个统计特性不同的目标完全依赖同一个标量价值预测,降低不同目标之间的估计干扰
HumanX
- 根据接触点这类位置信息构建交互数据集,对每类任务手动设计data augmentation
- XMimic:把身体和物体的相对关系加进Tracker,但每项任务仍然要手动设计一套奖励
- 然后用DAgger蒸馏进Student,但Student 仍需在已训练技能内泛化,而且输入字段只有一个物体目标位置/姿态,不能泛化到复杂场景
PolySim
- 让一个 Policy 同时面对多种仿真器中的动力学,而不是只在单个仿真器中改变物理参数
- 有一些工程贡献
WholeBodyVLA
- 把视觉变化压缩成动作latent
- 预训练从图像和指令预测这个动作latent
- 然后finetune输出动作
DreamZero
-
WAM的做法是用视频生成模型同时编码/预测机器人动作
-
更新 DiT Backbone
更新 State Encoder、Action Encoder、Action Decoder
冻结 Text Encoder、Image Encoder、Video VAE

浙公网安备 33010602011771号