联合语义和数据驱动的路径表征的知识图谱推理

原文

Joint semantics and data-driven path representation for knowledge graph reasoning

出版

申明

版权归原文作者及出版单位所有，如有侵权请联系删除

摘要

在大规模知识图上进行推理，对于大规模知识图的问题回答等应用具有重要意义。基于路径的推理模型可以利用KG中除纯三元组外的其他路径上的很多信息，但也面临一些挑战。

首先，现有的基于路径的方法都是数据驱动的，缺乏可解释性，即路径表示和推理结果是如何用人类可以理解的解释得到的。此外，一些方法要么只考虑关系路径，要么忽略路径中实体和关系之间的异构性，不能很好地体现路径的丰富语义。

为了解决上述挑战，在这项工作中，我们提出了一种新的联合语义和数据驱动的路径表示，在KG嵌入框架中平衡可解释性和泛化。具体地说，我们注入horn规则，通过一个透明的、可解释的路径组合过程来获得压缩路径。实体转换器的设计目的是沿着路径将实体转换为类似于关系的语义层表示，以减少实体和关系之间的异质性。考虑带有和不带有类型信息的KGs。该模型在两类任务上进行了评估:链路预测和路径查询回答。实验结果表明，我们的模型在几种最先进的基线上获得了显著的性能提升。

文章贡献

  • 我们提出了一种新的包含联合语义和数据驱动路径表示的KG推理方法，以获取更有价值的实体之间的关联，并学习更好的KG嵌入。
  • 我们的模型引入horn规则来准确地组合路径，用于路径表示。此外，为了减少KG中实体和关系之间的异质性，提出了两类实体转换策略，将实体转换为与关系相似的语义表示，可适用于任何具有或不具有显式类型的KG。这两个方面有利于平衡模型的可解释性和泛化性。
  • 我们在三个真实的KG数据集上进行了广泛的实验，并将我们的模型性能与几种最先进的方法进行了比较。实验结果表明，我们的模型在MRR和Hits@1上的链路预测和路径查询应答任务性能都优于基线。

模型

我们的模型整体架构的管道如下图所示：

我们首先注入horn规则来生成压缩路径(x 3.1)。然后，由于路径的长度超过1，路径中的实体通过一个通用实体转换器被转换为语义上类似于关系的表示，该转换器包含两个模块，用于KG，包括有类型和没有类型(x3.2)。此外，还开发了一个双向路径编码器，通过输入每个实体对(x3.3)之间的双向路径序列来学习路径表示。最后，通过引入多路径融合表示学习(x3.4)，提出了学习实体和关系嵌入的优化目标。

用于组合路径的规则注入

horn规则形式为: head <= body(confi), 其中body是一个原子结构ri(xi, yi)的连接, 其中ri是关系，xi和yi是对应的实体，其中的head是一个单独的原子结构，confi是该条规则的置信度。
通过使用一些开源的规则挖掘工具，如AMIE+和AnyBurl，可以从一个KG中挖掘horn规则和它们的置信度。然后，这些规则可以被进一步引入到我们在这个KG上的模型中。

实体转换器

因为实体和关系都被用来表示路径，实体和关系之间的异质性应该被解决，这也是我们这个模块需要做的事情。
在本模块中，我们提出了两种适用于任何KG的实体转换机制：
（1）针对有实体类型的KG的实体到类型的转换。
（2）针对没有类型的KG的实体到关系空间的投影。

路径编码

我们引入了一个路径编码器，其输入是双向路径和RNN的共享参数结构，使得更少的参数可以输出代表路径的任何关系嵌入。
我们定义路径序列作为路径编码器的输入，如下所示：

RNN路径编码器定义如下：

具体的RNN路径编码方法请看前几篇论文阅读分享。

目标规范化

我们的推理机制是根据由图结构组织的多条路径进行推理。因此，我们提出了融合表征学习，以全面地利用实体间多条路径的语义。每条路径的权重决定了这条路径对众多路径的融合表示学习的贡献程度。

模型性能

数据集

我们采用三个广泛使用的数据集: FB15K、WN18、NELL-995.
具体的统计数据见下表：

基线模型

我们这里使用两类模型：

  1. 单独利用三元组的模，包括TransE、TransH、TransR、HolE、ComplEx和ConvE
  2. 从KG引入路径的模型，包括基于嵌入的PtransE和基于强化学习的MINERVA
    我们的模型属于第二组，因为他同时利用了三元组和路径

模型结果

具体结果见下图：

从上图我们可以得到以下信息：

  1. 我们的模型在所有三个数据集上的MRR和Hits@1方面一直优于其他基线。
  2. 具体到FB15K上的结果，我们带有实体到类型转换的模型表现类似，但比带有实体到关系空间投影的模型略好。
  3. 所有基于路径的基线和我们的模型在更稀疏的数据集NELL-995上的表现都优于其他模型，这验证了利用多跳路径在实体间建立更多的语义关系对链接预测的更高性能收益。
  4. 我们的方法优于其他基于路径的基线PTransEADD、PTransE-RNN和MINERVA，主要是由于在路径序列中同时纳入了实体和关系，以及联合语义和数据驱动的路径表示，在KG推理中引入了更有效的路径表示。
  5. 在WN18数据集上，所有基于路径的基线模型在所有指标上都不如一些只采用三要素的基线。因为与其他两个数据集FB15K和NELL-995相比，WN18数据集的关系少得多（只有18个关系），可以提取的路径很少。一些不能准确代表实体之间关系的路径甚至会带来噪音。因此，我们的模型很难像在FB15K和NELL-995上那样表现出色。

消融实验

我们实施了消融研究，通过从我们的完整模型中移除核心部件并评估其在FB15K和WN18上的性能来分析其影响。具体结果如下表：

与我们的完整模型相比，去除实体转换器（-EC）的模型在FB15K上的Hits@10下降了5.88%，去除双向路径（-BDP）的模型在FB15K上的Hits@10下降了3.8%，去除规则（-Rule）的模型在FB15K上的Hits@10分别下降了1.72%。消减研究强调了我们模型中利用的所有组件的重要性。

路径查询

为了评估专注于路径的KG推理的性能，我们进行了复杂的多跳路径查询回答，包含两个子任务。

  1. 实体推理的路径查询回答
  2. 关系推理的路径查询回答
    实体预测
    具体结果如下表所示
  • 我们的方法在这三个数据集上明显优于PTransE。具体来说，我们的模型实现了性能提升。
  • 特别是，我们的模型在WN18上取得了令人满意的结果

关系预测
具体结果如下图所示：

  • 评估结果证明了在路径查询回答中采用多路径进行关系推理的优越性。TransE只根据公式5中实体对的嵌入之间的平移距离来计算得分，我们的模型和PTransE不仅引入了两个实体之间的平移距离，还引入了路径和直接关系之间的语义相似度。
  • 我们的模型进一步持续优于PTransE。
posted @ 2022-08-14 22:16  chaosliang  阅读(449)  评论(0)    收藏  举报