月出兮彩云归 🌙

摘要： 对于 policy improvement，maximize Q(s, π(s)) ，同时约束 π 与一个 prior policy 的 KL 散度，prior policy 用 advantage 非负的 offline 状态转移计算。 阅读全文

摘要： OpenReview 检索关键词：ICLR 2024、reinforcement learning、preference、human feedback。 阅读全文