Diffusion-DPO：一种基于直接偏好优化的扩散模型对齐新方法

本文介绍了一种名为 Diffusion-DPO 的方法，该方法改编自最近提出的直接偏好优化 (DPO)。DPO 作为 RLHF 的简化替代方案，通过分类目标直接优化策略，以更好地满足人类偏好。

诸如 GPT-4 和 Llama 2 等高性能大型语言模型 (LLM) 的训练通常分为两个阶段：

 

https://avoid.overfit.cn/post/ba7b83702a74438b9885db2eeb976b60