ProRL:基于长期强化学习让1.5B小模型推理能力超越7B大模型
这个研究挑战了强化学习仅能放大现有模型输出能力的传统观点,通过实验证明长期强化学习训练(ProRL)能够使基础模型发现全新的推理策略。ProRL方法体系包含KL散度控制机制、参考策略重置技术以及多元化任务训练集。
ProRL核心方法论
基于GRPO的强化学习算法
ProRL采用组相对策略优化(Group Relative Policy Optimization, GRPO)作为核心强化学习算法。相较于传统的近端策略优化(Proximal Policy Optimization, PPO),GRPO移除了价值函数模型,转而采用基于组分数的基线估计方法。该算法的优化目标函数定义如下:
https://avoid.overfit.cn/post/49b5f8e62762480ba9a10b783e8f039f