大模型学习笔记 13:SFT 之后为什么还要偏好对齐?读懂 RLHF 全流程

SFT 能让模型学着示范回答,但现实里经常不是“对”和“错”这么简单。同一个问题可能有几种都说得通的答法,用户会在帮助性、诚实性、安全性和表达方式之间做判断。RLHF 试图把这种偏好转成模型可以优化的信号。

三个阶段的闭环

偏好比较数据 -> 奖励模型 -> 策略优化语言模型
      ↑                              |
      └──────── 新回答与评估 ─────────┘

常见流程是先用偏好数据训练奖励模型,再用策略优化方法让语言模型获得更高奖励,同时约束它不要偏离基座模型过远。

对齐不是把模型变成“绝对正确”

奖励模型学习的是标注规则和标注者偏好,而不是世界真理。偏好数据可能存在群体差异、标注不一致、任务覆盖不足和奖励投机。模型为了获得高分,也可能学会讨好、冗长或模仿安全话术,而不是真正解决问题。

读 RLHF 时的三个边界

  1. 偏好不等于事实:回答更受欢迎,不代表内容更真实。
  2. 奖励不等于目标:奖励函数只是目标的近似,可能被钻空子。
  3. 对齐不等于没有风险:安全策略要在具体场景中持续评估和迭代。

RLHF 把“什么回答更好”纳入了训练,但它也带来一个提醒:复杂的价值一旦压成分数,就要认真检查分数遗漏了什么。

从用户体验看,SFT 和 RLHF 解决的问题并不完全一样。SFT 更像是给模型看一批示范答案,告诉它应该怎样完成任务;RLHF 则让模型在多个可行答案之间更倾向于某一种。前者强调“会不会做”,后者更多处理“做出来以后哪种更合适”。

这也是为什么偏好数据的任务覆盖很重要。如果标注者只比较简单问答,奖励模型对长文档、代码、安全边界和拒答场景就没有足够判断力。对齐不是训练流程最后加的一层装饰,而是需要和产品目标一起设计。

偏好对齐还可能产生副作用:模型变得更礼貌、更谨慎,但也更爱给空泛的安全话术;回答更长,却没有更多证据。评估时不能只看偏好胜率,还要同时看事实性、任务完成率、拒答准确率和用户是否需要追问。

把流程拆开看,RLHF 至少包含三套数据和两个模型角色:示范数据先让模型学会基本格式,偏好比较数据训练奖励模型,策略模型再根据奖励信号更新。任何一环的数据分布不一致,都会让后面的优化方向发生偏移。

我会把“对齐成功”写成一组可观察的行为,而不是一句抽象口号,比如缺少信息时是否追问、遇到危险请求是否拒绝、面对不确定事实是否保留限定语。这样才能设计对应样本,知道模型究竟在哪些行为上发生了变化。

参考:《大规模语言模型:从理论到实践》,第 6 章 6.1 节,PDF 第 157-161 页。本文为学习整理与独立阐释。

posted @ 2026-11-17 19:21  Hazy_star  阅读(20)  评论(0)    收藏  举报