虚假新闻检测（MDFEND）《MDFEND: Multi-domain Fake News Detection》

论文信息

论文标题：MDFEND: Multi-domain Fake News Detection
论文作者：Junjie Li, Yixin Zhang, Zilei Wang, Keyu Tu
论文来源：aRxiv 2022
论文地址：download 
论文代码：download

1 介绍

　　难点：单领域虚假新闻检测十分依赖特定领域数据的丰富性，难适用于数据较少的新闻领域 =====> 掘多领域数据提供的知识 ；

　　工作对比：

　　　　

　　本文：多领域虚假新闻检测 + 带 领域区分；

2 Method

　　整体框架如下：

　　

　　过程：

• • 首先，对文本句子通过 Bert 编码得到一组词向量$W=\left[w_{[C L S]}, w_{1}, \ldots, w_{n}, w_{[S E P]}\right]$ ，然后使用 $\text{Mask-Attention network}$ 得到句子向量；
  • 其次，将上述句子向量和 对应的域嵌入concat ，得到每个 Expert 的权重；
  • 最后，使用不同的 Expert [ Text CNN] 得到不同的句子向量，和上述 Expert 权重加权放入分类器；

3 实验

数据集

　　

　　训练集、验证集、测试集 = 6 ：2 ：2

　　训练集、验证集、测试集 中包含各个领域的数据

　　在验证集上使用早停策略，patience = 3；

 

Baseline Methods

　　(1) singledomain baselines: TextCNN_single [16], BiGRU_single [23], and BERT_single [9];

　　(2) mixed-domain baselines: TextCNN_all [16], BiGRU_all [23] and BERT_all [9];

　　(3) multi-domain baselines: EANN [40], MMOE [26], MOSE [31] and EDDFN [35]

　　在本文的实验中，BERT 模型的所有层都被冻结，我们平均最后一层得词向量得到句子的向量表示；TextCNN 中的卷积模块结构与我们的“专家”网络模块结构保持了一致；在EANN 模型中我们采用了只使用文本的版本；在 MMOE 和 MOSE 模型中，我们将不同的领域视为不同的任务以贴合两个模型的建模；在 EDDFN 模型中，我们显式利用了已标注的领域标签。

Result

　　

实验结果如表2所示。我们发现：

• 混合领域模型和多领域模型整体表现能力优于单领域模型，证明了使用多个领域数据的有效性；
• 多领域模型表现能力优于混合领域模型，说明仅仅将多个领域的数据混合在一起是不够的，多领域学习有着重要的作用；
• 单领域模型在个别领域上表现能力优于混合领域模型，这是由于并不是所有其他领域的数据都对本领域的数据存在正向的作用，会存在一些产生负影响的数据；
• 我们的模型 MDFEND 通过将领域类别和文本内容同时作为 “ Domain Gate” 的输入，有效地建模了领域之间的关系。并且这种自适应地结合不同领域的方法要比解耦领域共享和领域特异特征有效（EDDFN）。因此，我们的模型 MDFEND 表现能力优于其它多领域模型。