一、论文基础信息
1. 标题
英文：Semantic-Logic Dual-Path Fusion for LLM Rumor Detection: Structural Causal Modeling and Dual-Constraint Feature Graphs
中文：面向大模型谣言检测的语义 逻辑双路径融合：结构因果建模与双约束特征图
2. 作者
Weiheng Liang, Jin Yang（通讯作者）, Siyu Li, Puting Luo, Haonan Deng, Tianrui Li
3. 作者单位
-
四川大学网络空间安全学院
-
陕西警官学院 智能警务陕西省重点实验室
-
西南交通大学计算机与人工智能学院
-
西藏大学信息科学与技术学院
4. 来源与发布时间
5. 核心关键词
因果推断、结构因果模型 (SCM)、特征图、大语言模型、谣言检测
二、研究背景与研究问题
（一）研究背景
-
LLM 生成式 AI 快速普及，广泛应用于学术、教育、舆情传播场景，但幻觉问题严重：LLM 基于词共现概率生成文本，不具备真实世界深度理解，可产出语法通顺、语义流畅，但事实完全错误的虚假内容（谣言）。
-
LLM 谣言隐蔽性远高于人工谣言：人工谣言存在明显情绪煽动、语法漏洞；LLM 谣言表层无破绽，仅深层逻辑、上下文存在矛盾；攻击者可通过提示工程定制煽动性虚假文本，大幅提升检测难度。
-
现有检测范式分为两类：
-
传统谣言检测：依赖文本情感、TFIDF、传播网络、领域知识浅层特征，对 LLM 流畅幻觉文本失效；
-
LLM 生成文本检测：以溯源特征（词分布、句法困惑度、模型写作指纹）区分人机文本。
（二）现有方法缺陷（研究动机）
-
溯源预设偏差（Traceability Preset Bias）：现有模型训练隐含假设 “机器生成文本 = 谣言”，过度依赖生成风格溯源特征，忽略内容本身语义真实性；
-
实际场景冲突：LLM 大量用于合规文本润色、改写，高质量机器润色真实文本会被模型误判为谣言；对抗改写后的 LLM 谣言会被漏检；
-
现有因果谣言检测仅消除词频、情感混杂偏差，未将 LLM 生成风格（溯源信号）作为隐混杂变量建模，无法切断生成风格与标签的虚假关联；
-
缺少专门建模 “语义通顺、逻辑崩坏” 的结构化方法，无法量化文本内部词与词之间的逻辑冲突。
（三）核心研究问题
-
如何形式化建模溯源预设偏差，消除溯源特征带来的后门混杂偏倚，让模型聚焦内容真实语义而非生成风格；
-
如何量化 LLM 文本词向量间的因果依赖，挖掘通用上下文逻辑不一致特征，解决 “表层通顺、深层逻辑虚假” 检测难点；
-
如何融合去混杂语义表征与逻辑图特征，构建低数据依赖、跨大模型通用、高精度的 LLM 谣言检测框架。
三、Methods 章
3 Preliminary 预备知识
3.1 Problem Formulation 问题形式化
-
定义 1 LLM 生成内容
文本$X={x_1,x_2,...,x_n}$，提取三类核心要素：
-
语义特征$S$：文本整体语义信息；
-
逻辑特征$L$：词向量集合$V^{inf}$张成的特征空间，表征上下文逻辑一致性；
-
标签$G\in{0,1}$：1 = 谣言，0 = 真实文本。
-
定义 2 潜在混杂变量
$T$
不可观测隐变量，编码写作风格、句法等溯源信号；同时影响语义$S$与标签$G$，是混杂偏倚来源。
-
变分近似后验：$q_{\phi}(T|S)=\mathcal{N}\left(T ; \mu_{\phi}(S), \sigma_{\phi}^{2}(S) I\right)$；
-
可学习先验分布：$P(T)=\mathcal{N}\left(T ; \mu, \sigma^{2} I\right)$；
-
采用 VAE 完成隐变量分布估计。
-
定义 3 上下文因果特征图$F=(G^{inf}, A)$
-
$G^{inf}=(V^{inf}, E^{inf})$：词向量有向无环图 DAG，节点为词向量，有向边代表词间因果依赖；
-
量化函数$\mathcal{A}(E_{ij}^{inf})=P(v_j^{inf} | do(v_i^{inf}))$：干预$v_i^{inf}$后$v_j^{inf}$的条件概率，表征因果关联强度；
-
逻辑特征$L$由该图完成建模。
-
任务定义 学习检测函数$f_{detect}:X\rightarrow G$，输入文本$X$，提取$S、L$，估计隐混杂$T$，消除$T$带来的后门偏倚，输出谣言标签。
-
三角因果结构 $T\to S\to G,\ T\to G,\ S\to L\to G$；后门路径$S \leftarrow T \to G$造成观测分布$P(G|S)$存在虚假相关，是溯源偏差根源。
3.2 Overall Framework 整体因果建模框架
-
因果系统三元组$<O, I, E>$
-
$O$：外生噪声变量${O_S,O_L,O_G}$；
-
$I$：内生观测变量${S,L,G}$；
-
$E$：结构方程组，定义变量间因果生成机制：
-
三条核心因果路径
-
$S\to G$：基于语义判断内容真伪；
-
$L\to G$：基于文本内部逻辑一致性判断真伪；
-
$S\to L$：文本语义决定词间逻辑依赖。
-
因果干预核心逻辑 : 原始观测分布：$P(G | S)=\int P(G | S, T) P(T | S) d T$，因$P(T|S)\neq P(T)$存在虚假关联； 通过$do(S)$干预阻断后门路径，干预后无偏分布：$P(G | do(S))=\int P(G | S, T) P(T) d T$，使用全局先验$P(T)$替代依赖语义的后验$P(T|S)$。
-
LRDetect 三大协同模块
-
因果干预模块：输入语义$S$，VAE 估计隐混杂$T$，$do$算子干预得到去混杂语义表征$h_{caus}$；
-
上下文不一致挖掘模块：输入词向量$V^{inf}$，基于双约束构建因果特征图，GAT 池化得到逻辑不一致表征$h_{ctx}$；
-
融合检测模块：RoBERTa 融合两路表征，分类头输出最终谣言预测。
4 实现细节
4.1 Causal Intervention Module 因果干预模块
核心目标：切断后门路径$S\leftarrow T\rightarrow G$，消除溯源混杂偏倚，生成无风格干扰的纯语义表征。
-
变分 KL 正则损失 推导多元高斯后验$q_{\phi}(T|S)$与可学习先验$P(T)$的闭式 KL 散度，约束变分后验贴合全局先验，防止隐变量分布坍塌；
-
$d$算子因果干预实现
-
蒙特卡洛采样先验分布$T_i\sim P(T)$；
-
重参数技巧$T_{i}=\mu+\sigma \odot \tau_{i},\tau_{i} \sim \mathcal{N}(0, I)$，保证采样梯度可反向传播；
-
干预分布预测：$\hat{G}_{cf}=\mathbb{E}_{T \sim q_{\phi}(T | S)} f_{\theta}(S, T)$；
-
跨特征注意力交互层 将$S、T$投影至共享维度$d_k$，缩放点积注意力建模混杂变量$T$（生成风格）对语义$S$的调制作用，后接 MLP 建模非线性交互；
-
模块损失$\mathcal{L}_{causal}$
第一项：干预分布下分类交叉熵；第二项：KL 正则项，平衡预测精度与隐变量分布约束；
-
模块输出$h_{caus}$：多次采样$T_i$后平均注意力交互表征，得到完全剥离生成风格干扰的语义特征。
4.2 Contextual Inconsistency Mining Module 上下文不一致挖掘模块
核心目标：构建词向量 DAG 因果图，量化文本内部逻辑矛盾，捕捉 LLM “语义通顺但逻辑断裂” 独有缺陷。
-
因果骨架初始化 构建词无向图，对全部边执行条件独立性测试，删除条件独立边；对三元组生成 v 结构（碰撞器），得到部分有向因果骨架；
-
双约束传递规则（过滤无效因果边，防止环路、虚假碰撞）
-
逻辑传递性$\lambda_L$：若$v_y$逻辑特征超过阈值$\tau$，则$v_x$逻辑特征超$\tau$概率≥$\lambda_L$；
-
上下文传递性$\lambda_C$：若$v_x$上下文一致性低于$\tau$，则$v_y$一致性低于$\tau$概率≥$\lambda_C$；
-
因果关联度加权计算
-
图学习损失$\mathcal{L}_{graph}$
第一项：预测因果边方向与真实指示符平方误差；第二项：权重 L2 正则，抑制过拟合；
-
DAG 定向规则 若$\mathcal{A}(v_x^T,v_y^T)>\mathcal{A}(v_y^T,v_x^T)+\varepsilon$且无反向通路，则添加有向边$v_x^T\rightarrow v_y^T$，保证图无环；
-
GAT 图编码与全局表征输出
-
因果关联度加权注意力系数，多层图卷积迭代更新词节点特征；
-
自适应注意力池化聚合全部节点，输出全局逻辑不一致表征$h_{ctx}$。
4.3 Fusion and Rumor Detection 融合与谣言检测模块
-
特征投影输入
将$h_{caus}、h_{ctx}$线性映射至 RoBERTa 嵌入维度，构造输入序列：[CLS] e_caus [SEP] e_ctx [SEP]送入预训练 RoBERTa；
-
改进多头注意力机制
独立建模内容注意力（特征自身语义）与位置注意力（两路特征交互），增强语义表征与逻辑图特征的跨路径融合；
-
融合表征$h_{fuse}$
RoBERTa 输出的[CLS]向量，同时编码去混杂语义信息与词间逻辑冲突信息；
-
分类损失$\mathcal{L}_{cls}$：二分类交叉熵，用于谣言 / 真实文本判别；
-
全局联合训练损失
$\beta_1、\beta_2$为验证集网格搜索得到的加权超参数，统一优化三大模块；
-
完整训练算法 Algorithm1
流程：参数初始化→RoBERTa 预训练→批次循环（因果表征计算→因果图构建与$h_{ctx}$计算→特征融合→总损失反向传播）→验证集早停。
四、Experiment
5.1 Experimental Setup 实验设置
（1）数据集构建
基础数据源：FakeNewsNet 公开数据集 GossipCop++（娱乐八卦）、PolitiFact++（政治新闻）；
-
LLM 样本生成：使用 GPT-4o，越狱提示生成 LLM 谣言；润色提示改写真实文本，模拟合规 AI 写作场景；
-
混合数据集总量统计：
-
文本分布统计分析
-
词频：LLM 谣言词汇分布高度集中，词汇多样性更低；
-
语义类别：LLM 高频人际关系词汇（couple、love），人工谣言侧重事件、情绪表达；
-
专属词汇：LLM 大量使用 speculation、revealed 等模糊推测词汇，规避直接虚假表述；
-
实验分割：训练集：测试集 = 4:1，每组实验重复 5 次，结果取均值 ± 标准差；骨干预训练模型 RoBERTa。
（2）评价指标
Accuracy（准确率）、Precision（精确率）、Recall（召回率）、F1-score（综合 F1）。
5.2 Comparative Experiments 对比基线实验
（1）三类基线模型
-
传统多域谣言检测：MDFEND、EDDFN、M³FEND；
-
情感 / 提示增强检测：DualEmo、MPL；
-
LLM 专用人机文本检测：DetectGPT、AFNDELLM、SheepDog、LMTMD。
（2）实验结果
LRDetect 全部指标超越所有基线，SOTA 性能：
（3）实验结论
-
传统多域模型依赖领域、情感浅层特征，LLM 可轻易模仿，F1 仅 80%~85%；
-
DetectGPT 零样本泛化差；MPL、AFNDELLM 小幅提升但存在性能瓶颈；
-
SheepDog、LMTMD 依赖模型生成风格特征，易学习虚假关联，稳定性不足；
-
LRDetect 双重优势：因果干预消除溯源混杂、双约束因果图挖掘通用逻辑缺陷，精确率与召回率均衡，稳定性更强。
5.3 Ablation Study 消融实验
（1）消融变体设置
-
Base：仅基础骨干网络，无因果干预、无逻辑图挖掘；
-
w/o Causal Intervention：移除因果干预模块，保留逻辑图；
-
w/o Contextual Inconsistency：移除逻辑图模块，保留因果干预；
-
Complete Model：完整 LRDetect。
（2）骨干模型：XLNet、ELECTRA、DeBERTa、RoBERTa
（3）实验结果
-
移除任一模块性能大幅衰减，两大模块具备强互补性；
-
上下文不一致挖掘模块贡献更大：移除后 F1 下降 4.19%~5.65%，是核心性能支柱；
-
因果干预模块次要贡献：移除后 F1 下降 1.64%~3.23%，消除溯源偏倚；
-
RoBERTa 作为完整框架骨干最优；ELECTRA 基线最低、模块增益最大（F1 提升 12.41%）；DeBERTa 基线性能高、增益较小。
（4）结论
语义去混杂 + 逻辑矛盾挖掘缺一不可，RoBERTa 架构最适配双路径特征融合。
5.4 Robustness Analysis 低数据鲁棒性实验
实验内容：逐步缩减训练集比例（0.5/0.55/0.6/0.65/0.7），模拟标注数据稀缺真实场景。
实验结果（表 8、表 9）
-
训练集仅 50% 时，F1 仍达 85.53%；完整 70% 训练集 F1=91.30%；数据减半仅下降 6.24%；
-
召回率留存最稳定，数据规模变化对阳性样本识别影响极小。
结论
LRDetect 学习分布无关的通用因果机制；因果图捕获跨数据不变的词依赖，大幅降低模型对大规模标注数据的依赖，适配低标注真实舆情场景。
5.5 Generalization Analysis 跨大模型泛化实验
实验内容：测试 8 款主流大模型生成的谣言文本（Gemini 2.5、Grok 3、LLaMA 4、DeepSeek-V3、Qwen3、GLM4.5、Hunyuan-T1、ERNIE-4.5）。
实验结果
-
8 款模型平均 F1=91.23%，全部模型 F1＞90.5%；Hunyuan-T1 最优 92.07%；
-
不同 LLM 生成风格对应不同混杂变量$$，因果干预可消除模型专属溯源虚假关联；
-
逻辑断裂是 LLM 谣言通用固有缺陷，因果图特征具备跨模型不变性。
结论
框架实现模型无关的谣言检测，无需针对新发布大模型重新训练，适配 LLM 快速迭代的行业现状。
五、论文核心观点与四大核心贡献
（一）核心观点
-
当前 LLM 谣言检测的核心瓶颈是溯源预设偏差：模型过度学习人机生成风格指纹，忽略内容本身逻辑真实性；
-
LLM 谣言本质特征是表层语义流畅、深层词间因果逻辑断裂，该缺陷跨所有大模型通用；
-
结合结构因果建模消除溯源混杂 + 双约束因果图挖掘逻辑矛盾，可同时实现高精度、强泛化、低数据依赖的无偏检测；
-
$d$算子因果干预可切断生成风格与谣言标签的后门关联，强制模型学习内容真实语义，而非人机生成痕迹。
（二）四大核心贡献
-
理论贡献：首次从因果推断视角形式化定义 LLM 谣言检测的溯源预设偏差，构建包含语义、逻辑、隐溯源混杂变量的完整 SCM，证明溯源特征是后门混杂路径，建立无偏检测理论基础；
-
算法贡献：提出双因果约束下特征解耦与不一致挖掘算法；VAE 变分近似 +$d$算子实现语义去混杂；设计逻辑 / 上下文双传递约束构建词向量因果 DAG，量化文本内在逻辑矛盾；
-
工程框架贡献：提出三模块协同 LRDetect 框架，RoBERTa 融合去混杂语义与图级逻辑表征，设计多损失联合优化策略；
-
实证贡献：在公开混合数据集取得 SOTA（F1=93.16%，超最优基线 2.76%）；消融实验验证两大模块有效性；低数据、跨 8 大 LLM 泛化实验证明框架鲁棒性与通用性，为模型无关 LLM 谣言检测提供完整可行方案。
浙公网安备 33010602011771号