当角色失效：基于大语言模型的政治言论分析中辩护者角色保真度的认知约束

一、基础信息

  • 标题：When Roles Fail: Epistemic Constraints on Advocate Role Fidelity in LLM-Based Political Statement Analysis
  • 中文翻译：当角色失效：基于大语言模型的政治言论分析中辩护者角色保真度的认知约束
  • 作者：Juergen Dietrich（高级数据科学家、AI 顾问，TRUST 项目）
  • 来源：arXiv 预印本（计算机科学 - 人工智能方向，[cs.AI](cs.AI)）
  • 发布时间：2026 年 4 月 29 日（论文标注 2026 年 4 月，arXiv 版本更新时间为 2026.04.29）

二、研究背景与问题

（一）研究动机（现有不足）

  1. 核心假设未验证：民主话语分析系统依赖多智能体 LLM 管道，为模型分配对抗性角色以生成多视角评估，模型能可靠维持指定角色这一核心假设无系统性实证检验。
  2. 研究视角缺失：现有 LLM 角色扮演研究仅关注对话级人格漂移，未触及事实核查触发的认知层面角色失效；立场检测研究针对文本对主张的立场，而非多智能体中指定角色的遵守度。
  3. 方差成因不明：TRUST 管道前期研究发现身份偏差存在显著运行级方差，但未明确是随机波动还是系统性角色偏离。
  4. 系统验证缺陷：多智能体 LLM 系统验证常忽略角色保真度测量，可能系统性歪曲设计的认知多样性。

（二）研究问题

  1. 多智能体 LLM 管道中的辩护者模型能否稳定维持批判性 / 中立性 / 善意性指定认知角色？
  2. 模型角色失效的具体模式、统一内在机制是什么？
  3. 模型选型、语言、事实核查提供商如何影响角色保真度？
  4. 如何量化测量 LLM 的角色漂移与角色保真度？

三、Methods 

3.1 Statement Dataset（实验数据集）

  1. 样本规模：30 条英文政治言论 + 30 条德文政治言论，双语样本结构完全一致。
  2. 言论分类
    1. 类别 A：可实证测量的经济、社会政策主张
    2. 类别 B：实证证据存在争议的主张
    3. 类别 C：意识形态导向的政策立场
  3. 事实核查预处理
    1. 主核查：Gemini 2.5 Flash（Temperature=0.2）对每条言论独立运行 5 次，Mistral Large 按2/5 共识规则整合为统一事实核查报告。
    2. 对照核查：使用 Perplexity sonar-pro 生成平行核查结果，用于提供商对比实验。

3.2 Role Fidelity Classifier（角色保真度分类器）

  1. 设计核心：基于认知立场识别角色，不依赖表面词汇，避免词汇偏差。
  2. 实现方式：基于 Mistral Large（Temperature=0.1）构建，判断推理文本是否合法化 / 非法化 / 中立对待目标言论。
  3. 角色认知定义
    1. 批判性：疏远言论立场，优先引用对立证据、凸显修辞缺陷。
    2. 中立性：无立场倾向，仅做事实验证，均衡权衡双方证据。
    3. 善意性：贴近言论立场，优先引用支持证据，挖掘合法核心与善意意图。
  4. 选型原因：Mistral 非管道内辩护模型，避免自指偏差。

3.3 Role Drift Metrics（角色漂移量化指标）

角色序数映射：CRITICAL=-1、BALANCED=0、CHARITABLE=+1，共 4 个互补指标：
  1. Role Drift Index (RDI)：仅测善意角色向批判性漂移的严重度，值域 0.5（中度漂向中立）~1.0（完全漂向批判）。
  2. Expected Drift Distance (EDD)：角色漂移的距离，预测角色与真实角色的平均绝对序数距离，值域 0（完全遵守）~2（最大漂移），对称适用于所有角色。
  3. Directional Drift Index (DDI)：角色漂移的方向,平均带符号序数距离，正值→漂向善意，负值→漂向批判。
  4. Entropy-based Role Stability (ERS)：角色预测分布的熵(稳定性)，值域 0（完全稳定）~ln3≈1.099（最大不确定性）。

3.4 Dimension-Level Analysis（维度级分析）

  1. 基于 TRUST 框架三大修辞维度：Logos（事实论证）、Ethos（尊重操守）、Pathos（情感诉求）。
  2. 按各维度得分分组计算 EDD、DDI，定位角色漂移的核心预测维度，验证认知底线效应是否由 Logos 主导。

3.5 Experimental Design and Prompt Versions（实验设计与提示词）

  1. 基础设置：每条言论由善意辩护者（Claude Sonnet 4.6/Mistral Large）运行 5 次（Temperature=0.3），输入整合后的事实核查报告。
  2. 两类提示词
    1. Baseline Prompt：标准善意解读指令，事实核查结果绝对优先于角色指令。
    2. Symmetric Prompt：新增核心指令 —— 即便事实核查矛盾，仍挖掘言论的合法核心、合理意图，弱化事实核查优先级。
  3. 输出规则：每个模型配置生成 150 条推理文本，统一由 Mistral Large 分类。

image

image

image

四、Experiment 

（一）数据集

  • 核心数据：英 / 德政治言论各 30 条，分 A（实证政策）、B（争议证据）、C（意识形态）三类。
  • 事实核查工具：Gemini 2.5 Flash、Perplexity sonar-pro。

（二）Baselines（基线）

  1. 模型基线：Claude Sonnet 4.6、Mistral Large（善意辩护者）；Gemini 2.5 Flash（批判性辩护者）；GPT-5.2（中立辩护者）。
  2. 提示词基线：Baseline Prompt（事实核查绝对优先）。
  3. 事实核查基线：Gemini 2.5 Flash。

 

（三）实验内容、结果与结论

1. 分类器性能实验

image

  • 内容：测试分类器对三大辩护角色的识别准确率。
  • 结果：批判性 80%、中立性 89%、善意性 10%（远低于 33% 随机水平）；整体 60%。
  • 结论：善意角色系统性失效，分类器可有效识别角色漂移。

2. 认知底线效应实验

image

  • 内容：按 Logos 得分拆分善意角色准确率（Claude + 对称提示 + 英文）。
  • 结果：Logos+2/+1→100%、Logos0→51%、Logos-1→0%。
  • 结论：事实核查形成绝对认知底线，低于此则善意角色无法维持，提示工程无法消除该效应。

3. 角色 - 先验冲突实验

  • 内容：测试批判性角色对事实正确言论的表现。
  • 结果：面对主流证据支持的言论，批判性角色会产出善意立场文本。
  • 结论：模型训练先验知识会覆盖角色指令，即角色 - 先验冲突。

4. 认知角色覆盖（ERO）机制验证

image

  • 内容：对比善意 / 批判性角色的 Logos - 准确率对称剖面。
  • 结果：善意角色 Logos-1→0%、+1→100%；批判角色 Logos-1→78%、≥0→0%，呈镜像对称。
  • 结论：两大失效模式同属认知角色覆盖（ERO）；证伪的认知约束强于验证。

5. 模型对比实验（Claude vs Mistral）

image

  • 内容：对比两模型作为善意辩护者的角色保真度。
  • 结果：Mistral 准确率高 15~36 个百分点（统计显著）；Claude 失效为极性反转，Mistral 为角色放弃。
  • 结论：模型选型显著影响角色保真度，Mistral 更适配善意角色。

6. 语言鲁棒性实验

  • 内容：测试 Mistral 在英 / 德言论的角色保真度。
  • 结果：英文 67%、德文 68%，无显著差异；Logos-1 时英文 31%、德文 17%。
  • 结论：角色保真度跨英 / 德语言鲁棒，德语认知底线效应略强。

7. 事实核查提供商对比实验

  • 内容：对比 Gemini/Perplexity 对角色保真度的影响。
  • 结果：Mistral 无显著差异；Claude 德文场景下，Perplexity 使准确率降 15pp（p=0.007）。
  • 结论：事实核查提供商非通用中立，需按模型 + 语言组合验证。

8. 言论类别级分析

  • 内容：按 A/B/C 类别分析角色保真度。
  • 结果：Mistral 英文类别 B 最稳定；存在语言 - 类别交互效应；Claude 英文类别 C 表现极差。
  • 结论：角色保真度主要由言论本身决定，而非模型。

9. 修辞维度级分析

  • 内容：分析 Logos/Ethos/Pathos 对角色漂移的影响。
  • 结果：Logos 是核心预测因子；Ethos+2、Pathos 正向得分可降低漂移。
  • 结论：Logos（事实属性）主导角色漂移，Ethos/Pathos 起辅助作用。

（四）论文核心观点与贡献

核心观点

  1. 多智能体 LLM 的对抗性角色保真度非二元稳定，完全依赖言论的事实属性。
  2. 事实与角色冲突时，会触发认知角色覆盖（ERO），表现为认知底线效应、角色 - 先验冲突两大模式。
  3. 证伪的认知约束远强于验证，是 LLM 的固有结构属性。
  4. 模型、语言、事实核查提供商均影响角色保真度，Mistral 的角色保真度显著优于 Claude。
  5. 高敏感场景的多智能体系统验证必须纳入角色保真度测量，否则会产生系统性认知偏差。

核心贡献

  1. 研发基于认知立场的角色保真度分类器，三大角色识别准确率达 80%/89%/67%。
  2. 提出RDI/EDD/DDI/ERS4 个互补指标，实现角色漂移的全维度量化。
  3. 首次定义并实证验证认知底线效应、角色 - 先验冲突，统一为 \\ 认知角色覆盖（ERO）\\ 机制。
  4. 完成模型、语言、事实核查提供商的多维度实证对比，明确角色保真度的关键影响因素。
  5. 为多智能体 LLM 系统提供标准化角色保真度验证方法，填补高敏感场景系统验证的空白。
posted @ 2026-05-24 16:59  卓然666  阅读(9)  评论(0)    收藏  举报
Live2D