Improving Fake News Detection in Low-Resource Languages through Retrieval-Augmented Generation And Parameter-Efficient Fine-Tuning

论文信息

论文标题：Improving Fake News Detection in Low-Resource Languages through Retrieval-Augmented Generation And Parameter-Efficient Fine-Tuning
论文翻译：通过检索增强生成与参数高效微调提升低资源语言下的虚假新闻检测
论文作者：ASM H. Kabir, Sameed A. Khan, Alexander A. Kharlamov, Ilia M. Voronkov
论文来源：International Journal of Open Information Technologies (INJOIT), ISSN: 2307-8162, vol. 14, no. 9, 2026, 莫斯科物理技术学院 (MIPT) / 俄罗斯因诺波利斯大学 (Innopolis University)
发布时间：2026年
论文地址：INJOIT vol. 14, no. 9, 2026, pp. 25–29
论文代码：模型权重以 GGUF 格式开源注册于 Ollama (qwen3.5:4b-bnfake-v1)

总结：

• 研究背景：孟加拉语（Bangla）作为全球第七大母语，拥有庞大的社交媒体受众，但在 NLP 领域处于严重的低资源状态。现存检测方法局限于小规模私有语料，依赖传统特征工程或陈旧的 mBERT / CNN-BiLSTM 浅层神经网络（准确率仅 70%~85%），且跨语言模型在非拉丁复杂形态脚本上存在严重的“真新闻偏置（Real-biased）”。

• 核心方案：以多语言大模型 Qwen3.5-4B 为统一基底，系统设计并对比了三种下游适配范式：原生零样本推断（Vanilla Zero-Shot）、基于向量数据库的多语言检索增强生成（RAG）、以及基于低秩自适应（LoRA）的参数高效微调。

• 关键策略：

  1. 零训练成本的密集语义 RAG 架构：利用轻量级多语言嵌入模型（paraphrase-multilingual-MiniLM-L12-v2）和 Pinecone Serverless 向量库，动态召回语义最相关的 Top-5 标注样本构造上下文 Few-Shot 提示，且严格实现测试集物理隔离防泄漏；

  2. 全线性层 LoRA 深度适配：对 Qwen3.5-4B 内部所有 Transformer 块的全部 7 个线性投影层（$q, k, v, o, gate, up, down$）注入可训练低秩矩阵（Rank $r=32$，更新仅占 0.93% 参数），并采用 Unsloth 加速在 RTX PRO 6000 Blackwell 架构 GPU 上完成微调；

  3. 五级容错解析器与格式一致性约束：构建“精确字符匹配 $\to$ 子串扫描 $\to$ 正则提取 $\to$ 孟加拉语关键词回溯 $\to$ 默认回退”的多级容错输出解析机制，并在推理时严格保证训练-推断模板一致性。

• 实验结果：在由 2,598 篇人工清洗标注的 BanFakeNews 严格平衡基准上，RAG 在无需任何模型训练的前提下，准确率由零样本的 73.85% 跃升至 80.58%（+6.73 pp），且几乎抹平了假新闻与真新闻的召回率差距（仅 0.39 pp 差距）；而 LoRA 微调模型（Qwen3.5-4B-BnFake-V1）取得了 99.04% 的超高准确率（Macro F1 = 0.9904），实现了 100% 的虚假新闻召回率（0 漏检，仅 5 例假阳性）。

1 研究动机&&研究背景

• 研究问题1：全球主流非英语低资源语言（如孟加拉语）面临严重的“虚假信息不对称防御”危机，现有模型为何难以奏效？

  研究背景：英文及欧洲高资源语言拥有大量标注事实核查基准（LIAR、FakeNewsNet、FEVER）和大型检测管线，而孟加拉语等低资源语言却面临严重的系统性数字鸿沟。孟加拉语拥有极复杂的屈折形态结构（Morphological Complexity），现存检测方案多依赖小样本私有语料、传统手工特征分类器或旧式 mBERT / CNN-BiLSTM 架构，准确率长期停滞在 70%~85% 区间，无法抵御现代社交媒体高速裂变的新型假新闻。

• 研究问题2：未经验证的多语言通用大模型（LLMs）直接用于小语种假新闻检测时，存在何种固有的结构性决策偏置？

  研究背景：多语言 LLM 在海量无监督语料上预训练而成，而网络抓取语料绝大多数为“真实世界客观叙述”。当直接进行零样本（Zero-Shot）真伪判定时，模型在遇到语句流畅、符合事实语感的文本时会赋予极低的不确定性，从而产生严重的“偏向判真（Real-biased）”现象，造成致命的假新闻漏检（高伪阴性率 False Negatives）。

• 研究问题3：在低算力、少样本的真实落地约束下，“免训练外挂检索（RAG）”与“轻量微调（LoRA）”各自的收益边界与部署权衡是什么？

  研究背景：百亿级全参数微调会耗费巨大硬件资源，且极易导致预训练跨语言表征发生“灾难性遗忘”；而纯提示工程又难以唤醒大模型对特定小语种虚假修辞的判别力。亟需一套严格控制基底模型变量的对比实验，全面厘清 RAG 的动态上下文学习潜力与 LoRA 的低秩权重重塑边界。

2 介绍

低资源语言虚假新闻检测技术的演进路径

• 第一代：手工特征工程 + 浅层分类器——提取情感极性、文本可读性、词汇多样性，输入 SVM 或逻辑回归，对文风变化极其脆弱。

• 第二代：早期多语言 Transformer 编码器微调——以 mBERT、XLM-R 或结合 CNN-BiLSTM 的混合模型为主，准确率徘徊于 70%~85%，无法充分利用上下文世界知识。

• 第三代：单语/跨语大模型原生零样本推断——依托大规模预训练多语言 LLMs 的涌现能力，但面临严重的分词碎片化和语料先验偏置（偏向认定文章为真实）。

• 第四代（本文）：统一多语言基座下的 RAG 与参数高效微调（PEFT）双轨驱动——基于 Qwen3.5-4B，一轨探索基于向量索引的免训练动态样例注入（RAG），另一轨探索覆盖全线性层投影的参数高效低秩微调（LoRA），建立低资源语种假新闻检测的高精度基准。

核心设计理念

  本文的核心思想是：“对齐评估规范，权衡显式事实检索与隐式权重适配的工业落差”。对于虚假新闻检测而言，漏报（False Negative）造成的社会公信力破坏远高于误报（False Positive）。RAG 充当了“透明、免训、消弭类别召回偏置”的敏捷武器，而全投影层覆盖的 LoRA 微调则是将模型的多语言通用潜能彻底引桥到下游二分类判决边界的决定性手段。

3 方法

3.1 核心概述（Overview）

模块构成

  框架统一以开源多语言大模型 Qwen3.5-4B 为基底，包含三大互补流水线：

• 基底大模型（Base Model）：Qwen3.5-4B 采用分组查询注意力（GQA）与旋转位置编码（RoPE），经 4-bit k-quant（Q4_K_M）量化后由 Ollama HTTP 服务驱动；

• 流水线 A：原生零样本推断（Vanilla Zero-Shot）：无任何外部辅助，结合两轮对话模板与五阶段级联容错解析器进行二分类判定；

• 流水线 B：多语言检索增强生成（RAG）：使用 Pinecone 托管的训练集向量索引库，通过密集语义向量动态检索 Top-5 最相似带标注文档，构建 Few-Shot 提示注入上下文；

• 流水线 C：LoRA 参数高效微调（Qwen3.5-4B-BnFake-V1）：冻结 99.07% 基础权重，仅对全 Transformer 块的 7 个线性投影层施加秩 $r=32$ 的可训练低秩分解，利用监督微调对齐决策空间。

整体架构流程图

                               待检测孟加拉语新闻 (Headline + Input Body)
                                                  │
                ┌─────────────────────────────────┼─────────────────────────────────┐
                ▼                                 ▼                                 ▼
      [Pipeline A: Zero-Shot]             [Pipeline B: RAG]                [Pipeline C: LoRA]
                │                                 │                                 │
     纯指令提示模板 (Chat Prompt)       多语言密集编码器 (MiniLM-L12)       预微调 Qwen3.5-4B 权重
                │                                 │                       (注入 7 个线性投影层)
                │                       Pinecone 向量库检索 Top-5                   │
                │                                 │                                 │
                │                     动态组装 Few-Shot 增强提示                    │
                │                                 │                                 │
                └────────────────────────┬────────┴─────────────────────────────────┘
                                         ▼
                             Qwen3.5-4B 4-bit 量化引擎
                                (Ollama HTTP 服务)
                                         │
                                         ▼
                            五阶段级联容错解析器 (Parser)
                      (精确匹配 → 子串扫描 → 正则 → 关键词 → 回退)
                                         │
                                         ▼
                              二分类决策: YES (假) / NO (真)

关键符号与输入输出

• 输入样本字段：孟加拉语标题（headline）、孟加拉语正文（input，截断至 2,000 字符）

• 分类标签：$y \in {\text{YES}, \text{NO}}$（YES 表示虚假新闻，NO 表示真实新闻）

• 密集嵌入维度：$d = 384$（由 paraphrase-multilingual-MiniLM-L12-v2 抽取）

• 检索相关样例集合：$\mathcal{E}{\text{top5}} = {(e_k, y_k)}{k=1}^5$

• LoRA 低秩矩阵：$W' = W_0 + \Delta W = W_0 + \frac{\alpha}{r} BA$，$B \in \mathbb{R}^{d \times r}, A \in \mathbb{R}^{r \times k}$，其中 $r = 32, \alpha = 32$

3.2 基底模型与零样本推断（Vanilla Zero-Shot）

基底模型配置

• Qwen3.5-4B：跨越 100 多种语言预训练超过 3 万亿 Token 的 Decoder-only Transformer。其采用 Grouped-Query Attention (GQA，8 个 query heads 对应 1 个 key-value head)，相比标准 MHA 降低了 87.5% 的 KV 缓存显存占用；支持长达 32,768 tokens 的 RoPE 上下文扩展。

• 高效轻量部署：采用 GGUF 格式的 Q4_K_M 4-bit 块量化，将磁盘体积由 FP16 的 ~9.2 GB 压缩至 ~2.71 GB（体积缩减超 70%），且分类精度损失小于 1%。由 Ollama 提供低延迟本地 HTTP 服务。

零样本推断流程与解析器级联

• 提示词构建：采用 Qwen3.5 的两角色（system 与 user）对话结构。系统级提示明确角色为事实核查员，严格限制输出仅为 YES 或 NO；用户级提示提供截断至 2,000 字符的孟加拉语文章。

• 推断超参：$\text{Temperature} = 0.1$（温度很低，压低随机性，倾向置信度最高的输出）, $\text{Top-}p = 0.9$（核采样保留累计概率 0.9 的候选词，配合低温，实现近似贪婪解码，减少异常发散），$\text{num_predict} = 64$（最大输出 token 设为 64）。

• 五阶段容错解析（Cascade Output Parsing）：为了防止 LLM 偶发性的多余解释破坏自动化指标提取，设计了多级解析管线：

  1. 精确字符串匹配（Exact string match）：优先直接匹配完整YES/NO，模型严格遵守输出格式时最快完成解析；

  2. 子串扫描（Substring scan）：没有完整精确匹配，就在输出文本中扫描是否包含YES、NO子串，应对输出前后夹杂多余文字的情况；

  3. 正则模式匹配（Regex pattern）：用正则规则捕获变体，处理大小写、符号、换行等格式扰动；

  4. 孟加拉语特定真假词汇查找（Bangla keyword lookup）：针对目标语种，检索孟加拉语表达 “假 / 真” 的本土关键词，适配模型输出孟加拉语回答的场景；

  5. 终极兜底（Fallback to NO）：前面全部失效，无法识别结果，默认输出 NO（判定为真实新闻）。

3.3 检索增强生成模块（Retrieval-Augmented Generation）

设计动机

  孟加拉语等低资源语种缺乏大规模微调标注集，而 RAG 能够将检索库作为外部非参数化显式记忆，通过“动态相关样例提示（Dynamic In-Context Learning）”指导大模型识别类似的欺骗话术，免去参数训练成本。

索引构建与免泄漏检索（Zero-Leakage Indexing）

• 向量库构建：仅将训练集的 2,078 篇文章切片，输入紧凑高效的 paraphrase-multilingual-MiniLM-L12-v2 编码器（22M 参数），生成 384 维密集特征向量存入 Pinecone Serverless 索引。测试集 520 个样本绝不构建索引，物理杜绝近重复文本检索造成的标签泄漏。

• 动态 Few-Shot 注入：

  1. 测试样本在推断时由同一编码器生成查询向量；

  2. 基于余弦相似度（Cosine Similarity）从 Pinecone 召回 Top-5 历史最相似训练样本；

  3. 通过 ID 索引自本地数据库抓取全文和对应真实真伪标签；

  4. 将这 5 个示例格式化为显式上下文参考样例插入 Prompt 前部，明确引导模型借鉴参考案例的判断逻辑。

3.4 LoRA 参数高效微调模块（LoRA Fine-Tuning）

设计动机

  为彻底消除模型对通识语料的真实性先验偏置，需要对模型权重施加针对性微调。然而低资源任务可供训练的样本量较小（约 2,000 条），全参数微调极易引发过拟合与表征坍塌。

全线性层投影适配

• 更新公式：

  $W' = W_0 + \Delta W = W_0 + \frac{\alpha}{r} (B \cdot A)$

  其中设置 Rank $r = 32$，缩放系数 $\alpha = 32$，使得缩放因子 $\alpha / r = 1.0$（单位缩放），Dropout 设为 0。

• 覆盖所有 7 个线性投影层：不同于常规仅微调注意力层（$q, v$），本方案将 LoRA 扩展覆盖至 Transformer 块内全部 7 个线性投影层：

  ${q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj}$

  将 MLP 前馈网络与自注意力层一并纳入适配范围，极大增强了模型消化“从通用跨语言领域向孟加拉语新闻造假语义迁移”的拟合容量。

• 极简参数开销：可训练参数仅 42.5 M，仅占基础模型总参数量（4.58 B）的 0.93%。

训练实现细节

• 框架支持：采用 Unsloth 深度定制的 CUDA 反向传播算子与 Flash Attention 2 极速算子，实现 2× 训练加速；

• 训练硬件与参数：在配备 94.97 GB 显存的 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 上运行；采用 AdamW 优化器，学习率 $2 \times 10^{-4}$，Cosine 衰减调度器，有效批大小（Effective Batch Size）为 8，共训练 5 轮（Epochs），10 步线性热身（Warmup）。

• 权重合并与打包：训练结束后将 LoRA 增量矩阵融入 BF16 基础权重，再次执行 Q4_K_M 量化导出为 GGUF，以 qwen3.5:4b-bnfake-v1 注入 Ollama。

4 实验

4.1 数据集（Dataset）

• 数据源与重采样：基于孟加拉语唯一开源的大型事实核查数据集 BanFakeNews（Hossain et al., 2020），严格提取出具明确人工复核标签的子集，构建了一个 50% : 50% 严格类别平衡 的基准集合。

• 数据规模与划分：包含 2,598 篇孟加拉语新闻，划分为 2,078 篇训练集与 520 篇测试集（比例约 8:2）。

• 防数据泄漏审查：经核验，训练集与测试集之间的正文重复率为 0；测试集中仅 37 个标题与训练集重复（占 7.1%），但其对应的正文均完全相异且标签一致，证实无虚假信息重叠泄漏。

• 文本长度控制：孟加拉语脚本保留为标准 Unicode NFC 编码，文章正文截断至 2,000 字符（涵盖原始文档绝大多数篇幅，兼顾语义完整度与显存计算边界）。

表 1：数据集划分统计（Table I）

数据集划分 (Split)	样本总量 (Total)	虚假新闻 (Fake - YES)	真实新闻 (Real - NO)
训练集 (Train)	2,078	1,039	1,039
测试集 (Test)	520	260	260
全量总计 (Total)	2,598	1,299	1,299

4.2 评价指标与实验环境

• 评估指标：准确率（Accuracy）、宏平均 F1（Macro F1）、各类别精确率（Precision）、召回率（Recall）及 F1 分数。95% 置信区间按正态近似二项分布公式计算：$\text{CI} = p \pm 1.96\sqrt{p(1-p)/n}$（$n = 520$）。

• 部署基底：全流程统一在本地 Ollama 环境下推断，评测全量测试集 520 篇样本，并记录完整 JSON 日志用于后续可审计分析。

4.3 实验内容、结果与结论

实验 1：三大范式端到端主分类性能对比（Table II）

模型流水线 (Pipeline)	准确率 (Accuracy)	宏平均 F1 (Macro F1)	错误预测数 (Errors / 520)	95% 置信区间 (95% CI)
Qwen3.5-4B (Vanilla Zero-Shot)	73.85%	0.7362	136	[70.07%, 77.63%]
Qwen3.5-4B + RAG (Top-5 Few-Shot)	80.58%	0.8058	101	[77.17%, 83.99%]
Qwen3.5-4B-BnFake-V1 (LoRA 微调)	99.04%	0.9904	5	[97.54%, 100.00%]

• 结果分析：

  1. 显著的性能阶梯：性能梯度表现为 LoRA 微调 (99.04%) > RAG 增强 (80.58%) > 原生零样本 (73.85%)；

  2. RAG 零训练成本增益明显：RAG 仅通过在上下文插入相似的历史判定样例，直接将分类准确率提升了 6.73 个百分点（错误样本减少 35 个），充分证明了利用多语言密集检索弥补低资源语境的可行性；

  3. LoRA 微调性能逼近理论上限：微调后模型在 520 篇严苛测试集上仅犯下 5 处错误，95% 置信区间完全独立于前两个基线，统计显著性显著。

实验 2：LoRA 微调稳定性与多随机种子检验（Table III）

为了验证超高指标并非偶然的随机种子挑选结果，作者在完全相同的超参数配置下执行了 3 次独立完整的 LoRA 训练：

独立微调轮次 (Runs)	准确率 (Accuracy)	宏平均 F1 (Macro F1)	错误样本数 (Errors / 520)
Run 1	99.04%	0.9904	5
Run 2	99.23%	0.9923	4
Run 3	99.42%	0.9942	3
平均统计 (Mean $\pm$ Std)	99.23% $\pm$ 0.19%	0.9923	4 $\pm$ 1

• 结论：三次微调的方差极小（标准差仅 0.19%），证明全投影层 LoRA 微调在吸收孟加拉语特定虚假新闻话术表征时具备极其强大的收敛一致性与鲁棒性。

实验 3：类别偏置与召回率不对称性消歧分析（Per-Class Analysis - Table IV）

这是本文最引人注目的发现——揭示了不同技术路线在处理正负样本时的内部偏置：

评测流水线 (Pipeline)	假新闻精确率 (F.Pre)	假新闻召回率 (F.Rec)	假新闻 F1 (F.F1)	真新闻精确率 (R.Pre)	真新闻召回率 (R.Rec)	真新闻 F1 (R.F1)	召回率偏差差值 (Recall Gap)
Vanilla Zero-Shot	0.7925	0.6462	0.7119	0.7013	0.8308	0.7606	18.46 pp (偏向认定为真)
Qwen3.5-4B + RAG	0.8069	0.8038	0.8054	0.8046	0.8077	0.8061	0.39 pp (近乎完美平衡)
Qwen3.5-4B-BnFake-V1	0.9811	1.0000	0.9904	1.0000	0.9808	0.9903	1.92 pp (达到 100% 假新闻召回)

• 深度洞察与机理解读：

  1. 大模型的“盲信”通病（Real-biased）：原生零样本基线存在高达 18.46 个百分点 的召回不对称性——其错过了 35.38% 的虚假新闻（召回仅 64.62%），而真新闻召回却高达 83.08%。这直接证实了多语言大模型在预训练时更倾向于将行文连贯的文本默认为真；

  2. RAG 能够充当“偏置矫正器”：引入平衡检索库的 Top-5 动态样例后，假新闻召回（80.38%）与真新闻召回（80.77%）的差距被骤然压缩至 0.39 个百分点，各类别指标极度对称。动态 Few-Shot 向模型直观展示了“假新闻也会写得很像真新闻”的反例，从根本上纠偏了模型的先验盲信；

  3. LoRA 达成防御终极目标——零漏检：微调模型实现了 100% 的虚假新闻召回率（Fake Recall = 1.0000），260 篇虚假新闻无一漏网；同时真实新闻精确度高达 1.0000，整体仅出现 5 例将真实新闻判定为虚假的误报（False Positive），完美契合内容审核中“宁可小幅误报，绝不漏放毒害”的高标准工业要求。

实验 4：系统落地与部署开销权衡（Deployment Trade-offs）

论文深入对比了 RAG 与 LoRA 落地工业界时的工程代价：

评估维度	RAG 检索增强流水线	LoRA 微调流水线 (BnFake-V1)
训练成本	零训练（仅建库耗时 ~4 分钟）	需要专用高端 GPU 及反向传播流水线
推断延迟	较高（包含 ~0.5s 编码 + ~0.1s 向量检索，Prompt 膨胀致推理时间翻倍）	极低（无检索等待，上下文精简）
存储制品	共享统一通用基底模型 + 外部向量索引库	需维护 ~2.71 GB 量化专用模型镜像文件
知识更新机制	热更新（直接增删改 Pinecone 向量库即可，无需停机）	静态（新增领域对抗知识需重新启动微调）
可解释性	天生可解释（提示词中显式附带检索证据及前例，方便审计）	隐式黑盒权重表征，缺乏明确因果溯源证据
最佳应用场景	资源受限、冷启动、需要证据溯源与频繁知识变更的轻量场景	高并发、超低延迟、对漏报零容忍的大规模工业内容审核场景

5 实验核心总结

• 打破低资源困境：利用 4B 参数规模的高效现代多语言基座（Qwen3.5-4B），成功在孟加拉语上建立起近乎完美的真伪检测基线，超越以往所有传统小模型。

• RAG 是免微调场景的最佳偏置校准方案：在无法承受重新训练成本的场景下，RAG 是以最低代价提升 6.73% 准确率并将模型假新闻召回不对称性从 18.46 pp 抚平至 0.39 pp 的利器。

• 全层 LoRA 激发小语种深层判决潜力：仅仅微调 0.93% 参数量（覆盖全 7 个线性投影层），即可彻底消弭生成式大模型在小语种上的假新闻召回盲区，达成 100% 假新闻检出率 和 99.04% 准确率。

• 一致性推断与输出解析不可忽视：利用多级级联容错解析器规避大模型输出格式发散，是保障评估指标可信复现的基础底座。

6 局限性与未来工作

局限性

• 纯文本单模态约束：当前研究仅依赖标题与正文文本，未结合社交网络中的配图、短视频、发帖者元数据（用户可信度、注册时长）及传播图拓扑结构。

• 二分类静态设定：真实世界的假新闻往往存在灰度区间（如夸大、断章取义、事实混合），仅采用二元标签（YES/NO）无法细化标注真实度等级。

• 单一语种验证：尽管孟加拉语具有极强代表性，但尚未在印地语（Hindi）、乌尔都语（Urdu）等南亚同源语言上交叉验证跨语种直接迁移能力。

未来工作

• 多模态与社交信号融合：集成嵌入图像特征、URL 域名可信度与网络拓扑转发信号，构建多模态低资源事实核查器。

• 跨语种结构迁移（Cross-Lingual Transfer）：将孟加拉语训练好的 LoRA 适配器，零样本/少样本迁移至语法结构相似的周边小语种。

• 持续增量学习（Continual Learning）：探索轻量化参数更新方案，使模型无需完全重训即可吸收每周新涌现的流行热梗与新型造假话术。

• 置信度校准与风险分级审核：引入输出概率校准方法，为判定结果附带置信评分，实现高风险自动拦截、中风险人工介入的分级审核工作流。

参考

• [6] Alam et al. (2021): A Review of Bangla Natural Language Processing Tasks and the Utility of Transformer Models (arXiv:2107.03844).

• [9] Qwen Team (2025): Qwen3 Technical Report (arXiv:2505.09388).

• [10] Lewis et al. (NeurIPS 2020): Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks.

• [11] Hu et al. (ICLR 2022): LoRA: Low-Rank Adaptation of Large Language Models.

• [18] Hossain et al. (LREC 2020): BanFakeNews: A Dataset for Detecting Fake News in Bangla.

• [22] Reimers and Gurevych (EMNLP 2019): Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks.

• [26] Unsloth AI (2024): 2x faster LLM fine-tuning.

时间

  2026年9月7日