多跳事实核查：基于结构因果模型与GRPO Grounding Multi-Hop Reasoning in Structural Causal Models via Group Relative Policy Optimization

论文详细笔记

一、基础信息

  • 标题：Grounding Multi-Hop Reasoning in Structural Causal Models via Group Relative Policy Optimization
中文翻译：基于结构因果模型与分组相对策略优化的多跳推理落地
  • 作者：Yunhan Bu、Quan Zhang、Huaping Zhang、Guotong Geng、Chunxiao Gao、Askar Hamdulla、Juan Wang、Qiuchi Li、Baohua Zhang、Shuai Lei、Yunbo Cao、Zhunchen Luo
  • 来源：第 43 届国际机器学习会议（The 43rd International Conference on Machine Learning, ICML 2026），PMLR 306
  • 发布时间：2026 年 5 月 2 日（arXiv 预印本）

二、研究背景与问题

（一）研究动机（现有方法不足）

  1. 大模型固有缺陷：多跳事实验证（MHFV）需跨多源证据复杂推理，大语言模型（LLMs）易产生幻觉、逻辑链断裂。
  1. 因果建模缺失：现有方法（CoT、SFT、GNN、ProgramFC 等）仅提升推理透明度，未显式建模证据与主张的因果依赖关系。
  1. 结构复杂度失衡：无约束的 SCM-CoT 会生成过细推理链，结构冗余引入噪声，推理链长度与准确率呈倒 U 型关系（过长链性能骤降）。
  1. 优化策略局限：传统 RL（如 CPO）难以区分复杂多跳推理的逻辑陷阱，优化不稳定；通用 RL 奖励函数设计困难，无法约束推理结构。

（二）研究问题

  1. 如何为多跳事实验证构建显式、可解释的因果逻辑推理框架？
  1. 如何动态平衡推理链的结构深度与简洁性，抑制幻觉、提升验证准确率？
  1. 如何设计稳定的强化学习策略，优化多跳因果推理的全过程？

三、Methods 

image

3.1 任务定义与形式化框架

  1. 任务目标：多跳事实验证（MHFV），给定主张与证据文档集，预测标签（Supported/Refuted），需跨多源证据构建完整逻辑链。
  1. 形式化建模：将推理过程建模为序列决策过程，推理序列\(C={(\tau_{t}, \alpha_{t}, o_{t})}_{t=1}^{N}\)，其中\(\tau_{t}\)为推理状态、\(\alpha_{t}\)为推理动作、\(o_{t}\)为环境观测（上一步结论）。
  1. 核心挑战：无法单条证据直接得出结论，需多步检索与信息合成。

3.2 结构因果模型（SCM）框架

  1. SCM 定义：三元组\(M=(U, V, F)\)
    • 外生变量 U：证据文档中提取的客观事实，推理根节点、基础输入。
    • 内生变量 V：逻辑推导的中间结论与最终判决，连接证据与主张。
    • 结构函数 F：定义内生变量对父节点的因果依赖，保证每步推理有据可依。
  1. 推理范式：将 MHFV 转化为构造性因果推理过程，从外生变量出发，递归用结构函数生成内生变量，直至得到最终判决。
  1. 逻辑约束：推理中动态维护有向无环图（DAG），仅父节点完备时才能加入新内生变量，杜绝逻辑跳跃与无依据假设。

3.3 数据构建

image

采用教师模型蒸馏自动化构建结构化因果数据集\(D_{struct }\)，分三步：
  1. 种子数据准备：选用 HoVer、EX-FEVER 等标准 MHFV 数据集作为\(D_{seed }\)，包含查询（主张 + 证据）与真实标签。
  1. SCM 组件生成：用强教师大模型（Qwen3-30B-A3B），通过结构化指令提示，生成外生变量 U、内生变量 V、结构函数 F。
  1. 因果链组装与验证
    • 一致性过滤：剔除生成答案与真实标签不符的样本。
    • 序列组装：将 SCM 组件转为序列决策格式的推理链，得到高质量结构化数据集。

3.4 监督微调（SFT）

  1. 训练目标：让基座模型对齐 SCM 因果推理范式，学习 “证据识别→分步推导→得出结论” 的逻辑。
  1. 数据格式：输入为指令提示 + 查询，输出为标准化模板（U、V、F、最终答案）。
  1. 损失函数：\(\mathcal{L}_{SFT}(\theta)=-\sum_{(x, y) \in \mathcal{D}_{struct }} \sum_{t=1}^{|y|} log P\left(y_{t} | x, y_{<t} ; \theta\right)\)，最大化生成正确结构化序列的概率。

3.5 分组相对策略优化（GRPO）

  1. 核心思路：用 GRPO 强化学习优化策略，通过组内相对奖励降低训练方差，稳定优化过程。
  1. 复合奖励函数\(R(y)\)（三部分加权）
    • 正确性奖励\(R_{c}\)：判断预测答案与真实标签是否匹配，匹配则给高正奖励。

image

    • 结构奖励\(R_{s}\)：基于奥卡姆剃刀原则，鼓励多依赖证据、少冗余推理，用\(\Delta(y)=|U|-|V|\)计算。

image

    • 长度奖励\(R_{l}\)：引导推理链长度落在最优区间，惩罚过长 / 过短链。

image

  1. 优化目标：最大化组内相对优势目标，用组内样本相对性能估计优势值，结合 KL 散度保持探索性，避免过早收敛。

四、Experiment 

4.1 数据集

选用两大通用多跳事实验证基准：
  1. HoVer：包含 2-hop、3-hop、4-hop 多难度多跳验证样本。
  1. EX-FEVER：FEVER 数据集的扩展版本，包含 2-hop、3-hop 样本。

4.2 Baselines

覆盖多类主流推理范式，公平对比（基座统一 Qwen3-8B）：
  1. 纯 LLM 基线：Qwen3-8B、Qwen3-14B、Llama3.2-3B 及对应 SCM-CoT 版本。
  1. 多跳推理基线：Direct Prediction（DP）、ProgramFC、FOLK、RAG（含 Self-RAG/CRAG）、Decompose-Verify、QACheck、Search-o1（GPT-3.5 API）。

4.3 实验内容与结果

（1）主实验结果（HoVer & EX-FEVER 准确率）

image

  1. SCM-GRPO 达到 SOTA：在所有 5 个评测子集（HoVer2/3/4-hop、EX-FEVER2/3-hop）均最优，平均准确率 71.02%。
  1. 复杂场景优势显著：HoVer 4-hop、EX-FEVER 3-hop 等复杂任务，领先最优基线 2-4%，长链推理能力突出。
  1. RL 优化有效性验证：仅 SCM-CoT 无 RL 会导致性能下降，SCM-GRPO 通过多维度奖励解决结构冗余问题，将结构优势转化为性能增益。

（2）消融实验（优化策略对比，Qwen3-8B 基座）

image

 
  • 结论：GRPO 组内相对优化机制，比 SFT、CPO 更稳定，能有效引导模型构建有效、简洁的因果路径。

（3）结构分析实验

  1. GRPO 优化后：外生变量（证据）占比提升至 88.7%，内生变量与因果路径显著减少。
  1. 结构效率：路径 / 变量比从 0.60 降至 0.29，推理复杂度可控，无结构爆炸。
  1. 统计验证：SFT 中变量与路径强相关（0.85），GRPO 解耦相关性（0.16），\(p<1e-30\)，优化效果显著。

4.4 实验结论

  1. SCM-GRPO 在多跳事实验证任务上全面超越现有 SOTA 方法，复杂场景鲁棒性更强。
  1. GRPO 能有效平衡推理结构的深度与简洁性，抑制幻觉、提升逻辑完整性。
  1. 传统成对偏好优化（CPO）不适合复杂多跳推理，组内相对优化（GRPO）更适配因果推理任务。

五、论文核心观点与贡献

  1. 因果框架创新：将结构因果模型（SCM）引入多跳事实验证，显式建模证据与主张的因果依赖，提供可解释推理基础。
  1. 实证发现：揭示推理链长度与准确率的倒 U 型规律，提出结构复杂度与性能的权衡机制。
  1. 优化方法创新：提出基于 GRPO 的规则化强化学习策略，动态优化推理结构，平衡正确性、结构合理性与长度合规性。
  1. 性能突破：在 HoVer、EX-FEVER 基准上达到 SOTA，为复杂多跳推理提供可靠、可解释的解决方案。
 
posted @ 2026-05-10 17:57  卓然666  阅读(57)  评论(0)    收藏  举报
Live2D