RL · Representation Learning | 强化学习中的 Forward-Backward 表征

目录

• 0 论文信息
• 1 FB 方法的关键组件、训练方法（数学公式版）

---

0 论文信息

Learning One Representation to Optimize All Rewards

• arxiv：https://arxiv.org/abs/2103.07945
• pdf：https://arxiv.org/pdf/2103.07945
• html：https://arxiv.org/html/2103.07945v3
• 来源：NeurIPS 2021，原始 FB 方法论文

Does Zero-Shot Reinforcement Learning Exist?

• arxiv：https://arxiv.org/abs/2209.14935
• pdf：https://arxiv.org/pdf/2209.14935
• html：https://arxiv.org/html/2209.14935v2
• 来源：ICLR 2023，提出 offline FB 方法
• 内容概述：
  • 这篇文章希望系统研究 Zero-Shot RL 是否可行，对比了 Forward-Backward（FB）和多种 Successor Features（SF）方法。
  • 论文采用 Offline RL setting，即从已有 replay buffer 中学习表示与策略，不进行在线交互。
  • 同时，这篇文章改进了 FB 的训练目标，引入辅助 Q Loss，并为连续动作空间训练独立的 latent-conditioned Policy。
  • 实验表明 FB 在多个 benchmark 和数据集上表现较为稳定，但性能仍受到 offline 数据质量的影响。

From Reward-Free Representations to Preferences: Rethinking Offline Preference-Based Reinforcement Learning

• arxiv：https://arxiv.org/abs/2606.01123
• pdf：https://arxiv.org/pdf/2606.01123
• html：https://arxiv.org/html/2606.01123v1
• 来源：ICML 2026，与 PbRL（Preference-Based RL）结合。
• 先前阅读博客：论文速读记录 | 2026.07

1 FB 方法的关键组件、训练方法（数学公式版）

【】