RM-Bench 和 reward_bench 评估相互抑制

RM-Bench 和 RewardBench 的指标确实存在相互抑制的现象，且这种抑制性在当前主流奖励模型中普遍存在。以下从数据设计差异、评估逻辑冲突、模型优化路径三个维度展开分析，并结合最新研究案例说明其内在机制：

一、数据设计差异导致的天然对立

1. RM-Bench 的「去形式化」设计
   RM-Bench 专门针对奖励模型的形式偏好偏差设计，例如：
   • 细微内容差异测试：要求模型区分仅相差一个单词但含义完全不同的响应（如 “推荐咖啡” vs. “推荐茶”）。
   • 风格控制变体：强制生成极简、详细、Markdown 三种格式的响应，测试模型是否能忽略长度或格式等表面特征，仅基于内容质量评分。
   • 困难准确率（Hard Accuracy）：在风格干扰下（如正确响应为极简格式，错误响应为详细格式），模型需准确识别内容实质，而 RewardBench 未设置此类对抗性场景。
2. RewardBench 的「多维度综合」导向
   RewardBench 更注重奖励模型在开放域任务中的泛化能力，例如：
   • 多领域覆盖：包含对话、安全、推理等场景，要求模型在对抗性案例中（如恶意提示）仍能准确判断偏好。
   • 隐式形式偏好：高质量响应可能恰好具有较长的长度或结构化格式（如列表），导致模型在训练时不自觉学习到这些表面特征。
   • 模型偏好偏差：奖励模型可能对某些策略模型生成的响应给予过高分数，例如在 RewardBench 中表现优异的模型可能过度依赖特定策略模型的输出模式，而这些模式在 RM-Bench 中被视为偏差。

二、评估逻辑冲突引发的指标对抗

1. 内容实质 vs. 形式特征的权衡
   • RM-Bench 的核心要求：模型必须优先关注内容准确性，例如在数学领域，即使正确响应为极简格式，错误响应为详细但包含计算错误的长文本，模型也需准确识别。
   • RewardBench 的潜在陷阱：高质量响应可能恰好具有更长的长度或 Markdown 格式，导致模型学习到 “长 = 好” 或 “结构化 = 好” 的虚假关联。例如，在 RewardBench 的对话任务中，详细回答可能因信息全面而被标注为高质量，而 RM-Bench 则要求模型忽略长度，仅判断内容是否正确。
2. 风格干扰下的判断稳定性
   • RM-Bench 通过风格 - 内容评估矩阵（Style-Substance Eval Matrix）系统性测试模型在风格干扰下的表现。例如，当正确响应为极简格式，错误响应为详细格式时，模型需准确识别内容实质，而非被长度误导。
   • RewardBench 未强制分离风格与内容，导致模型可能在训练时将风格特征与质量标签绑定。例如，RewardBench 中的高质量响应可能恰好使用 Markdown 格式，模型学习到该格式与高分的关联，而 RM-Bench 则要求模型忽略格式，从而形成指标间的抑制。

三、模型优化路径的相互排斥

1. 训练数据的路径依赖
   • RewardBench 导向的优化：若训练数据中高质量响应普遍具有较长的长度或结构化格式，模型会倾向于学习这些表面特征。例如，昆仑万维的 Skywork-Reward-V2 在 RewardBench 上表现优异，但在 RM-Bench 的困难准确率仅为 46.6%，表明其仍存在显著的风格偏差。
   • RM-Bench 导向的优化：若训练数据引入风格干扰（如强制切换长度、格式），模型需学习内容实质，可能牺牲在 RewardBench 上的流畅性指标。例如，DPO 模型在 RM-Bench 上的表现优于序列分类器，但在 RewardBench 上的泛化能力未明确提及。
2. 奖励信号的冲突性
   • RewardBench 的奖励信号：可能隐含对表面特征的偏好（如长度、格式），导致模型在优化时优先满足这些特征。例如，RewardBench 中的对抗性案例可能要求模型生成符合特定格式的响应以避免被拒绝，从而强化表面特征的学习。
   • RM-Bench 的奖励信号：要求模型忽略表面特征，仅关注内容实质。例如，在 RM-Bench 的数学领域，正确响应可能因简洁而被 RewardBench 模型低估，导致指标间的抑制。

四、缓解抑制的可行路径

1. 多任务学习与数据增强
   • 混合数据集训练：如昆仑万维构建的 Skywork-SynPref-40M 混合数据集，同时包含风格干扰样本和多领域任务，帮助模型平衡内容实质与形式特征的优化。
   • 风格对抗训练：在训练数据中强制引入长度、格式等风格干扰，例如将正确响应转换为极简格式，错误响应转换为详细格式，迫使模型学习内容实质。
2. 校准与去偏差技术
   • Elo 分数校准：如 CHARM 方法，利用聊天机器人竞技场的 Elo 分数校准奖励模型，减少对特定策略模型的偏好偏差，提升在 RM-Bench 上的表现。
   • 原则跟随范式：如 RewardAnything，直接使用自然语言指令（如 “不要使用字母 u”）指导模型评估，避免学习表面特征，同时提升在 RM-Bench 和 RewardBench 上的泛化能力。
3. 动态权重调整
   在训练过程中动态调整 RM-Bench 和 RewardBench 指标的权重，例如在早期阶段侧重内容实质（RM-Bench），后期阶段侧重多领域泛化（RewardBench），逐步平衡两者的优化。

五、结论：抑制性是阶段性现象，非本质矛盾

当前指标间的抑制性主要源于训练数据的局限性和模型优化的路径依赖，而非评估目标的本质冲突。随着以下技术的发展，抑制性有望逐步缓解：

• 更智能的奖励模型架构：如生成式奖励模型（Generative Reward Model），通过显式建模人类偏好的因果关系，而非依赖表面特征。
• 更全面的评估范式：如 RABench，结合自然语言原则评估模型的灵活适应能力，而非固定的表面特征。
• 更精细的数据工程：如昆仑万维的 “金标准锚定质量 + 银标准扩展规模” 双轨机制，通过人机协同构建高质量、多样化的训练数据。

因此，模型在 RM-Bench 和 RewardBench 上的表现并非不可调和，通过数据增强、多任务学习、校准方法的结合使用，可以实现两者指标的同步提升。