Collaborative Evolution: Multi-Round Learning Between Large and Small Language Models for Emergent Fake News Detection

论文《Collaborative Evolution》Introduction & Related Work 部分总结

📌 Introduction 部分概括

1. 背景与问题重要性

• 假新闻在社交媒体上的传播对社会造成了严重影响
• 传统基于小语言模型(SLMs)的方法依赖大量标注数据进行监督训练，难以适应新兴新闻事件的快速演变

2. 现有方法的局限性

• SLMs：

  • 在特定数据集上表现良好，但无法泛化到新兴事件
  • 存在分布偏移问题，即训练数据与新兴事件的数据分布不一致

• 大语言模型(LLMs)：

  • 虽具备强大的零样本学习能力，但在假新闻检测中表现不佳
  • 原因包括：
    • 缺乏相关示例(demonstrations)
    • 缺乏动态更新的外部知识

3. 现有LLM+SLM方法的不足

• 现有方法(如DELL、ARG)仅将LLM作为SLM的辅助工具，未充分利用LLM的推理与泛化能力
• 仍然依赖大量标注数据训练SLM，未能解决数据稀缺问题

4. 本文解决方案：MRCD框架

• 提出 Multi-Round Collaboration Detection(MRCD) 框架，实现LLM与SLM的多轮协作学习

• 核心组件：

  • 两阶段检索模块：获取相关示例和最新知识
  • 数据选择模块：筛选高置信度样本
  • 多轮学习机制：逐步优化模型性能

• 优势：

  • 不依赖标注数据
  • 充分利用LLM的泛化能力和SLM的专业性
  • 在两个真实数据集(Pheme、Twitter16)上取得SOTA结果

📚 Related Work 部分概括

1. 假新闻检测方法分类

• 基于内容的方法：从新闻语义中提取特征(如Khattar et al., 2019)
• 基于知识增强的方法：利用外部知识库(如Wikidata)辅助判断(如Hu et al., 2021)
• 基于传播路径的方法：分析新闻在社交网络中的传播模式(如Shu et al., 2020)

2. LLM在假新闻检测中的应用

• 现有方法(如DELL、ARG)使用LLM生成评论、情感分析或提供推理依据，辅助SLM检测
• 局限性：
  • 仍依赖大量标注数据
  • 未充分利用LLM的任务推理与学习能力

3. 上下文学习(In-Context Learning)

• LLM通过少量示例即可适应新任务
• 关键点：示例的语义相关性比标签的准确性更重要(Liu et al., 2022; Min et al., 2022)
• 本文创新：从搜索引擎和新闻语料中检索未标注新闻，并赋予语义丰富的伪标签，避免"复制效应"

4. 检索增强的LLMs

• 通过检索外部知识解决LLM的"幻觉"和"知识过时"问题
• 应用于问答、对话、常识推理等任务
• 本文采用两阶段检索：
  • 第一阶段：检索最新新闻作为示例
  • 第二阶段：从Wikipedia检索相关知识

✅ 总结

• Introduction 突出了假新闻检测在新兴事件上面临的数据稀缺与分布偏移问题，并指出现有LLM与SLM方法的不足
• Related Work 系统梳理了假新闻检测的三大主流方法、LLM的应用现状，以及上下文学习与检索增强技术的研究进展，为MRCD框架的设计提供了理论基础和方法借鉴