具身智能paper

具身智能paper

BeyondMimic

  • Agility

    能跳跃、翻滚、踢腿等高动态运动

  • Naturalness

    动作在视觉和力学表现上接近人类

  • Versatility

    能组合技能,适应训练时没见过的任务

  • 翻滚等 Contact-Rich Skill 的接触模式尤其难以手工规划(Model-Based Control )

  • AMP

    利用对抗训练,鼓励策略生成符合人体运动数据分布的动作

  • Planner–Controller Mismatch

    Planner 可能要求机器人在 0.2 秒内从跑步切换为侧手翻,然而底层控制器未必能从当前速度和身体姿态进入目标动作

  • VAE-Based Multi-Skill Policy

    泛化能力可能不足(动作相比图像,维度更高)

  • 作者想针对新目标重新组合技能

  • 首先用RL policy分别学习motion tracking

  • \[\mathcal L_{\mathrm{VAE}} = \mathbb E_{z\sim q_\mathcal E} \left[\|\hat a-a\|^2\right] + \beta D_{\mathrm{KL}} \left(q_\mathcal E(z\mid\psi,e_{\mathrm{anchor}}) \| \mathcal N(0,I)\right) \]

    即重建项和KL项,z比较像一个连续、低维的运动控制意图,解码的时候结合当前机器人的状态和观测

  • diffusion生成策略,使用cfg进行任务条件控制,使采样出的轨迹既接近训练的分布,又能实现任务目标

  • 短时域预测无法独立进行复杂规划

  • 未建模复杂的环境状态

SONIC

  • 训练一个unified motion token,vla可以生成这个space里的motion token,然后用motion tracker去解码出动作

  • \[\mathcal L = \mathcal L_{\mathrm{PPO}} +\lambda_{\mathrm{rec}}\mathcal L_{\mathrm{rec}} +\lambda_{\mathrm{align}}\mathcal L_{\mathrm{align}} +\lambda_{\mathrm{cycle}}\mathcal L_{\mathrm{cycle}} \]

  • PPO Loss 负责学习物理上可执行的控制,其余三个 Loss 负责学习统一的 Motion Token 表示

  • 扩大了训练的规模,把很多不同动作都放到这个motion space里

supermimic

  • PPO通过采样回报来估计策略梯度,不需要知道动作如何改变环境状态

    策略梯度由概率加权形式的reward对参数求导得到,而不是直接对reward的计算过程求导

  • 用可微动力学模型可以获得策略梯度,具体实现是3层mlp,因为数据只覆盖一个比较小的状态空间,不涉及复杂的环境交互

  • 用BPTT训练策略,同时预测终止概率来计算GAE

∇Mimic

  • 对可微的物理仿真器 BPTT
  • 需要裁剪梯度,来避免极端值
  • 用一种action target复用BPTT的梯度,提升训练效率

Fast Adaptation and Stable Motion Tracking

  • 参考动作不稳定时,主动降低 Tracking Reward,并增大稳定性奖励

    (用CoM-CoP质心-合力作用点距离来估计)

  • Residual Policy Adaptation

    在遇到新动作分布时训练一个相对小的 Delta Policy

  • Parseval Regularization

    让权重近似正交,即列向量相互正交,并具有相同的范数;目的是让Residual 对输入变化的敏感度具有一个上界

    另外,正交化特征方向能够改善网络条件数,让 Residual 在多个特征方向上进行探索,而不是过分集中于少数方向

HumanoidNDM

  • sim-to-real的域随机化始终有分布外的情况

  • 真机ppo采样效率低,且有安全风险

  • FENCE:在频域修改机器人所追踪的目标运动,而不是扰动电机命令,防止抖动

    具体地,在fft后的低频分量上添加噪声

    为了使 IFFT 后的信号为实数,负频率部分使用共轭对称

  • Tracking Error 加权:某些状态更值得探索,例如机器人跟踪误差很大的状态

  • 用 Multi-Armed Bandit 自动选择扰动强度:平衡未探索过的地方和覆盖得分

  • 主要面向 time-invariant disturbances,如果手中负载突然改变会失效

  • MoCap-Free:

    使用前向动力学计算各身体 Link 的局部位置和旋转,然后计算loss

    相当于用 \(J^\top J\) 对不同关节误差进行结构化加权

  • residual model

    通过 BPTT finetune 原有 Policy,和supermimic差不多,但只优化Tracking Error,不学习 Critic/Value Function

GigaBrain-WBC-0.5

  • 动作是否可以执行,取决于周围的物理条件
  • 网络输入six seven维本体感知状态,29维上一步关节 PD Target,64维参考运动编码(未来10帧的运动参考encode成latent)
  • 用6-Layer Causal Transformer感知大约3.7s内的状态/接触历史,形成对外部环境负载的隐式估计
  • 预测action/state:输出动作和下一状态,鼓励机器人预测环境造成的状态差别,但训练只用了单步的状态预测梯度,多步策略奖励梯度还是ppo
  • 预测一个 Gaussian Mixture Model 形式的下一步 Latent Command 的条件概率分布,用于筛选当前命令是否合理(符合分布),并向gaussian中心截断来修正命令

RWM-U

  • 为什么普通 World Model 在 Offline RL 中容易失败

    训练数据覆盖有限,world model产生的rollout在没覆盖到的地方容易出现错误的高reward

  • 用五个prediction head的mean的variance衡量不确定性

  • MOPO-PPO:用worldmodel收集rollout,奖励减去模型预测的不确定性惩罚

BFM-Zero

希望把Goal Reaching、Motion Tracking、Reward Maximizaition的任务统一到一个可复用的行为空间,从里面采样\(z\),然后预测$a_t=\pi_\theta(o_{t,H},z) $

  • Successor Measure

    \[M^\pi(s'\mid s,a) = \sum_{k=0}^{\infty} \gamma^k P(s_{t+k}=s'\mid s_t=s,a_t=a,\pi) \]

    如果某个未来状态 (s') 很容易到达,或者会被反复访问,它的权重就会较大

    这样可以直接计算累计回报:

    \[Q_r^\pi(s,a) = \int M^\pi(ds'\mid s,a)r(s') \]

  • M的估计:

    \[M^{\pi_z}(ds'\mid s,a) \approx F(s,a,z)^\top B(s')\,\rho(ds') \]

    其中F是未来访问行为的函数,B是未来某个状态的特征,类似KV

  • 对任意reward \(r(s)\),我们尝试用B去编码得到$z_r=\mathbb E_{s\sim\rho}[B(s)r(s)] $ ,这样$Q_r(s,a)\approx F(s,a,z_r)^\top z_r $

    构造$ C=\mathbb E_\rho[B(s)B(s)^\top] $,反映各个特征的尺度和相关性

    以及\(\phi(s)=C^{-1}B(s)\),满足\(\mathbb E_\rho[B(s)\phi(s)^\top]=I\),\(\phi\) 的作用是补偿 B 特征的尺度与相关性,这样对任意z我们可以得到它对应的奖励函数\(r_z\): \(\phi(s)^T z_r = r_z(s)\)

  • 训练时给每个环境采样一个z,让每个z对应一种环境和奖励

  • 训练的FBloss,大概是让访问分布在每步之间一致,同时提高下一步在分布中的概率(这样访问的总步数越多,总概率就越高)

  • 这种投影到B特征空间的做法有局限,B如果没覆盖某些特征,就很难表示某些行为

P-BFM

  • 任务目标编码的B不接受环境的状态,只编码“任务意图”,环境只在F里

    让执行行为的网络接受环境输入:\(\pi(o_t, z_t, h_t^{vis})\)

  • 再加一个明确指令输入,比如设置前进速度,但不限制移动方式,将全身动作风格与全局移动目标拆开

LATENT

  • Stage1: 训练Motion tracker
  • Stage2:和BeyondMimic类似,把Tracker蒸馏进一个Latent Action Space,再训练一个Conditional Prior,表示按现在的状态,接下来会选择什么latent
  • Stage3:高层planner输出latent,经过conditional prior的一个限制

VideoMimic

  • 从视频里学习物理控制
  • 联合重建人体和3D场景
  • 先用干净的Mocap数据PPO训练tracker
  • 然后加入Height Map,地形特征通过一个初始输出为零的残差投影注入已有 Policy,在视频重建的对应场景中,用 PPO 跟踪参考动作
  • 然后用DAgger把上面带参考动作的Teacher蒸馏到没有参考动作的学生模型里,逐渐把参考动作转移到对地形的相关性上
  • 最后进行PPO Fine-Tuning,优化实际表现
  • 没有Task Intent,移动目标其实比较模糊,比较地形和动作之间的相关性(比如有一个椅子,给出向后的移动目标,推断出“坐下“,但实际上没有输入”坐下“的指令)

PGMT

想让Motion Tracker 根据地形自动修改动作

  • 首先与训练tracker,输入仍然是本体感觉、历史和参考动作,用了一个历史查询模块来查询参考动作,大概意思是要选择关注参考轨迹中的哪些部分
  • 然后注入地形感知,Terrain Glimpses的设计意图是对地形的感知应该取决于目前的动作,设计了一个在terrain上裁剪出一个窗口的网络,然后把局部地形特征融合进之前的transformer
  • Tracking和地形冲突时,对Tracking Error对修改:$ \hat e=\max(0,e-\delta) $,其中 \(\delta\) 是允许的动作偏离范围,取决于地形难度和松弛程度;实际训练的时候只对下半身启动松弛,上半身严格跟踪
  • 把critic的价值函数拆成下半身、上半身、地形等独立的critic head,避免多个统计特性不同的目标完全依赖同一个标量价值预测,降低不同目标之间的估计干扰

HumanX

  • 根据接触点这类位置信息构建交互数据集,对每类任务手动设计data augmentation
  • XMimic:把身体和物体的相对关系加进Tracker,但每项任务仍然要手动设计一套奖励
  • 然后用DAgger蒸馏进Student,但Student 仍需在已训练技能内泛化,而且输入字段只有一个物体目标位置/姿态,不能泛化到复杂场景

PolySim

  • 让一个 Policy 同时面对多种仿真器中的动力学,而不是只在单个仿真器中改变物理参数
  • 有一些工程贡献

WholeBodyVLA

  • 把视觉变化压缩成动作latent
  • 预训练从图像和指令预测这个动作latent
  • 然后finetune输出动作

DreamZero

  • WAM的做法是用视频生成模型同时编码/预测机器人动作

  • 更新 DiT Backbone

    更新 State Encoder、Action Encoder、Action Decoder

    冻结 Text Encoder、Image Encoder、Video VAE

posted @ 2026-11-11 07:21  lcyfrog  阅读(31)  评论(0)    收藏  举报