论文阅读：双路注意力引导图卷积网络的关系抽取

李志欣, 孙亚茹, 唐素勤, 等. 双路注意力引导图卷积网络的关系抽取[J]. 电子学报, 2021, 49(2): 315.

DAGCN模型

• DAGCN模型主要由3个模块组成，即GCN模块、注意力模块和分类模块。
  

GCN模块

• 模型的输入为词节点的嵌入及节点的邻接矩阵，通过GCN对节点的隐藏信息进行表征，其结果通过一层卷积操作作为注意力模块的输入。
• 第L层的节点i的输出向量由第L-1层的节点i及其相邻节点表示。
  
• 经过L层的GCN对每个节点向量的处理，得到节点的隐藏表示，利用这些词表征可以得到一个句子的特征表示。
  
• 函数f(·)将ｎ个向量转变成一个句子向量，同样的，对第i个实体：
  

注意力模块

位置注意力模块

• 为了在局部特征上建立丰富的上下文关系，设计了位置注意力模块。如图3所示，通过以下三个步骤生成空间上下文信息的新特征。
  

• 首先是生成位置注意力矩阵，该矩阵对特征任意两个位置之间的空间关系进行建模。
• 接着，对注意力矩阵和原始特征执行矩阵乘法。
• 最后，将相乘后的矩阵与原始特征进行元素求和运算，以获得全局上下文信息的最终表示。

关系注意力模块

• 关系注意力模块将节点依赖信息编码为关系特征，从而增强节点间的依赖关系。如图 ４所示，模块经过三个步骤生成节点关系依赖信息的新特征。
  

• 关系注意力矩阵依据节点之间的依赖关系生成。例如，节点i与节点j的关系用pij或 pji表示。初始时，两个有关联的节点的值为1，若没有关系则为0。然后利用自注意力机制生成关系特征值。
• 接着，对注意力矩阵和原始特征执行矩阵乘法。
• 最后，将相乘后的矩阵与原始特征进行元素求和运算，以获得节点之间的全局依赖。

• 为了利用大范围的上下文信息，最后将两个注意力模块得到的新特征进行聚合，通过一层卷积得到最终的节点特征。

分类模块

• 首先对注意力模块输出的特征通过一层前馈神经网络输出关系特征表示，实体hei与实体hej的关系rij可表示为：
  
• 然后，通过softmax函数对输出的关系特征做关系的概率预测。
  
• 分类函数的损失可用交叉熵计算。