摘要： PPO（近端策略优化）是OpenAI于2017年提出的一种策略梯度类算法，以其高效性、稳定性和易实现性成为强化学习领域的主流算法。以下从核心原理、数学推导、代码实现到应用场景进行系统解析。 一、PPO 的核心设计思想 问题背景传统策略梯度方法（如TRPO）存在两大痛点： 更新步长敏感：步长过大易导致 阅读全文

摘要： 定义与核心思想 基于人类反馈的强化学习（reinforcement learning with human feedback）是一种结合传统强化学习与人类主观判断的机器学习范式。其核心思想是通过人类对智能体行为的直接评价（如偏好排序、评分或修正），动态调整模型的优化目标，使智能体在复杂、模糊的任务中 阅读全文

摘要： 定义与核心思想 人类反馈强化学习（RLHF）是一种结合传统强化学习与人类主观判断的机器学习范式。其核心思想是通过人类对智能体行为的直接评价（如偏好排序、评分或修正），动态调整模型的优化目标，使智能体在复杂、模糊的任务中逐步逼近人类期望的行为模式。与传统强化学习依赖预设的数学化奖励函数不同，RLHF 阅读全文