论文阅读：Dynamic Multi-View Fusion Mechanism for Chinese Relation Extraction

代码及数据集：https://gitee.com/tmg-nudt/multi-view-of-expert-for-chinese-relation-extraction

MoVE框架

模型可分为三部分：Multi-View Features Representation, Mixture-of-View-Expert 和 Relation Classifier.

Multi-View Features Representation

内部视图功能

• 利用 BERT 作为底层编码器，最后一层的输出 \(h_i^c\) 在语义视图中，用作汉字的语境化语义嵌入。

\[H_i^c = BERT(x_1,...,x_n) \]

• 部首通常是语义组成部分，无论上下文如何，它都会固有地带来一定程度的语义。因此，使用信息丰富的结构组件（SC）作为汉字的部首级特征，该特征来自在线新华词典。

\[H_i^r = Max-Pooling(CNN(x_1^{c_1},...,x_n^{c_i})) \]

• 首先，将汉字拆解为 \(SC = (x_1^{c_1},...,x_n^{c_i})\)。
• 然后，将部首特征输入到\(CNN\)中。
• 接着，使用 max-pooling 和 fully connection 层来获取部首层特征嵌入 \(H_i^r\) 。

外部视图功能

• 首先，使用SoftLexicon方法把每个字符的所有匹配单词分为四个词集"BMES"。
• 然后，使用平均池化方法将每个词集压缩成一个固定维向量。
• 最后，将四个词集的表示组合成一个固定维度特征，并将它们连接起来以获得外部特征嵌入\(H_i^l\)

Mixture-of-View-Expert(MoVE)

• 现在已有语义层面\(h_i^c\)、词汇层面\(h_i^l\) 和部首层面\(h_i^r\)的视图，然后，需要将不同的视图特征连接起来，得到多特征表示\(h_i^m\)。
• 然而，现有方法通常只计算不同视图特征的未加权均值，或者有时将权重设置为超参数并计算特征的加权均值。此外，现有的方法无法区分所引入特征的重要性。因此，他们无法过滤掉引入的潜在噪声信息。所以文章引入了MoVE框架：

• 每个不同的特征表示都充当视图专家，该专家由两个线性层组成。

\[[expt_i^1,...,expt_i^E] = [L(h_i^m),...,L^E(h_i^m)] \]

• 专家门由一个线性层和一个 softmax 层组成，后者在不同视图专家上生成置信度分布。

\[[\alpha _1, ..., \alpha _E] = softmax(Linear(h_i^m)) \]

• 最后，元专家功能结合了所有专家的特征，这些特征基于专家门的保密分数。

\[h_i^f = \sum_{k=1}^{E} \alpha _k * expt_i^k \]

Relation Classifier

• 首先合并\(h_i^f\)，转换为句子级特征向量\(H^f\)。
• 然后是最后的句子表示\(H^f\)通过 SoftMax 分类器来计算每个关系的置信度。
• 使用以下交叉熵损失来定义目标函数：

\[\begin{aligned} \mathcal {L} (\theta ) = \sum _{i=1}^{T} log P(y^i | S^i, \theta ) \end{aligned} \]

实验

数据集

• FinRE：一个手动标记的财经新闻数据集，其中包含 44 个区分关系，包括一个特殊关系 NA。
• SanWen：一个用于关系提取的文档级中国文学数据集，包括针对中国文学文章的 9 种关系类型。
• SciRE：收集自CNKI的3500篇中国科学论文，对科学术语和关系进行了定义。（作者团队手动标注）

Baselines

• 使用DeepKE进行试验：BLSTM，Att-BLSTM，PCNN，Att-PCNN。
• 晶格模型：Basic-Lattice 和 MG-Lattice。

Yang, J., Ji, B., Li, S., Ma, J., Peng, L., Yu, J. (2023). Dynamic Multi-View Fusion Mechanism for Chinese Relation Extraction. In: Kashima, H., Ide, T., Peng, WC. (eds) Advances in Knowledge Discovery and Data Mining. PAKDD 2023. Lecture Notes in Computer Science(), vol 13935. Springer, Cham. https://doi.org/10.1007/978-3-031-33374-3_32