2026年1月18日
RLHF模型训练-PPO拆解
摘要： 零、基本概念 在一个RLHF的流程中，包含了trainer 和 rollout两个过程，其中trainer是训练强化学习的部分，而rollout则是执行模型推理的部分。 在PPO策略中，trainer的主要目的则是为了训练策略模型，它包括了策略模型、RM奖励模型、价值模型，其中RM是人工手动标签离线 阅读全文
posted @ 2026-01-18 16:17 wildkid1024 阅读(3) 评论(0) 推荐(0)