星辰大海

摘要： RL预备知识 PPO Proximal Policy Optimization（PPO）是一种在LLM中常用的强化学习算法，其目标函数如下所示： \[J_{PPO}(\theta) = \mathbb{E}[q \sim P(Q), o \sim \pi_{\theta_{old}}(O|q)] \ 阅读全文