【论文笔记-55~71】多语言实体对齐

2012~2018

1. Multilingual Knowledge Graph Embeddings for Cross-lingual Knowledge Alignment

文章核心观点：
这篇文章介绍了一种名为MTransE的多语言知识图谱嵌入模型，旨在实现跨语言知识对齐。该模型由知识模型和匹配模型两部分组成，其中知识模型采用TransE对每个语言的实体和关系进行编码，而匹配模型则学习不同语言空间之间的跨语言转换。文章提出了三种跨语言转换表示方法，包括距离校准、翻译向量和线性变换，并基于不同的损失函数得到了MTransE的五个变体。实验结果表明，采用线性变换的变体在跨语言实体匹配和三元组对齐验证任务上表现最优。同时，MTransE在单语言任务上也能保持与TransE相当的性能。综合来看，MTransE为构建统一的多语言知识图谱提供了一个有效的自动对齐解决方案。

方法：

定义多语言知识图谱，包含每个语言的知识图谱和已有对齐信息。
构建知识模型，采用TransE对每个语言的知识图谱进行编码，将实体和关系表示为低维向量。
构建对齐模型，学习实体和关系向量在不同语言间的转换，提出三种转换表示方法：距离轴校准、翻译向量和线性变换。
整合知识模型和对齐模型，MTransE最小化损失函数，以学习实体和关系的嵌入表示以及跨语言转换。
训练模型，使用在线随机梯度下降法进行模型训练，同时交替优化知识模型和对齐模型的损失。

转移范例：参数
转移资源：multilingual word embeddings
评估语言：英，法，德
评估数据集：WK3l，self-generated

2. Cross-Lingual Entity Alignment via Joint Attribute-Preserving Embedding

文章核心观点：
这篇文章介绍了一种基于联合属性保持嵌入的跨语言实体对齐方法。该方法提出了结构嵌入和属性嵌入两个模块，分别用于学习两个知识库的关系三元组和属性三元组的嵌入表示。结构嵌入模块利用已有的对齐实体和关系作为桥梁，在统一向量空间中学习两个知识库的结构表示。而属性嵌入模块则通过抽象属性值并捕获属性之间的相关性，计算实体之间的相似度。最后，将两个模块的结果合并，在统一向量空间中表示所有实体，并通过搜索最近邻来实现跨语言实体的对齐。在真实数据集上的实验结果显示，该方法显著优于两种基于嵌入的跨语言实体对齐方法，并且可以与基于机器翻译的方法互补。

方法：

结构嵌入(Structure Embedding, SE)：将两个知识库的关系三元组嵌入到统一的空间中，利用种子对齐作为桥梁，学习近似表示潜在的对齐三元组。
属性嵌入(Attribute Embedding, AE)：利用种子对齐建立跨语言属性之间的相关性，并通过最小化目标函数，使相关的属性嵌入到相近的空间中。
计算实体相似度：利用属性嵌入计算实体之间的相似度，将实体的表示定义为属性向量的规范平均。
联合嵌入：将结构嵌入和属性嵌入结合，利用实体相似度矩阵作为监督信息，优化联合目标函数，使相似的实体嵌入到相近的空间中。
实体对齐：在联合嵌入空间中，为源实体搜索最近的跨语言邻居作为对齐的目标实体。

补充：为了进一步研究结合的可能性，对于每对潜在对齐的实体，我们考虑两个结果中较低的排名作为组合排名。令人惊讶的是，组合结果显著更好，这揭示了JAPE和机器翻译之间的相互补充性。我们认为，在跨语言知识库之间对齐实体时，如果机器翻译的质量难以保证，或者许多实体缺乏有意义的标签，JAPE可以作为一个实用的替代方案

转移范例：参数
转移资源：multilingual word embeddings，机器翻译
评估语言：英语，中文，日，法
评估数据集：DBP15K

相关工作：
现有的跨语言知识库对齐工作通常分为两类：跨语言本体匹配和跨语言实体对齐。在跨语言本体匹配方面，Fu等人[8,9]提出了一个通用框架，该框架利用机器翻译工具将标签翻译成同一种语言，并使用单语言本体匹配方法来找到映射。Spohr等人[21]利用基于翻译的标签相似性和本体结构作为特征，通过机器学习技术（例如SVM）学习跨语言映射函数。在所有这些工作中，机器翻译是一个不可或缺的组成部分。
在跨语言实体对齐方面，MTransE[5]结合了TransE，将知识库结构编码到特定语言的向量空间中，并设计了五种对齐模型，以学习不同语言知识库之间的翻译，使用种子对齐。JE[11]利用TransE将不同的知识库嵌入到一个统一的空间中，目的是让每个种子对齐具有相似的嵌入，这可以扩展到跨语言场景。Wang等人[23]提出了一个图模型，该模型仅利用语言独立的特征（例如出链/入链）来寻找Wiki知识库之间的跨语言链接。Gentile等人[10]利用基于嵌入的方法对Web表中的实体进行对齐。与他们不同，我们的方法一起嵌入两个知识库，并利用属性嵌入来改进。

不足：

受TransE影响，结构嵌入受到multi-mapping的影响，冲突映射（N-1，1-N，N-N）
属性嵌入中丢弃了属性值

3. Co-training embeddings of knowledge graphs and entity descriptions for cross-lingual entity alignment

文章核心观点：
本文介绍了一种基于协同训练的多语言知识图谱嵌入方法KDCoE，用于跨语言实体对齐。该方法结合了多语言知识图谱嵌入模型和实体描述嵌入模型，通过在弱对齐的多语言知识图谱上进行协同训练，逐步增强跨语言学习的监督信息。实验结果表明，该方法在实体对齐任务上优于先前的方法，并展示了在零样本实体对齐和跨语言知识图谱补全方面的潜力。

方法：

定义两个嵌入模型：KG嵌入模型(KGEM)和描述嵌入模型(DEM)。
KGEM采用TransE模型学习每个语言的实体和关系的嵌入表示，同时加入一个线性变换对齐模型来建模跨语言知识。
DEM使用门控循环单元编码器(AGRU)和多语言词嵌入学习实体描述的嵌入表示。
在迭代协同训练过程中，首先初始化两个模型，然后依次训练KGEM和DEM，并利用它们预测新的跨语言链接加入训练集。
重复上述过程，直到两个模型都无法提出新的跨语言链接。
在实体对齐任务中，使用KGEM和DEM的嵌入表示计算候选实体对的相似度，并选择相似度最高的作为预测结果。
在零样本实体对齐中，直接使用DEM的嵌入表示进行相似度计算和预测。
在跨语言知识图谱补全任务中，KGEM可以进行跨语言三元组补全预测。

补充1：使用门控循环单元(GRU)对实体描述进行编码，以捕捉描述的顺序信息。在GRU层上加入自注意力机制，以突出描述中共享的语义信息。利用预训练的多语言词嵌入来表示描述中的每个词，并固定词嵌入参数。将词向量序列输入GRU编码器，得到描述的隐藏状态表示。使用平均池化层聚合GRU的最后一层输出，得到描述的嵌入表示。通过最小化描述嵌入和其跨语言对应描述嵌入之间的欧氏距离，学习匹配不同语言描述的嵌入表示。

补充2：KDCoE能够基于描述的表示处理零样本场景。

转移范例：参数
转移资源：multilingual word embeddings
评估语言：英语，法语，德语
评估数据集：WK3l60k

相关工作：多语言知识图谱嵌入。最近的工作将嵌入模型扩展到知识图谱上的多语言学习。其中一个代表性的工作是MTransE [Chen等人，2017a]。MTransE通过一个共同训练的对齐模型将单语言模型连接起来，该模型采用了三种对齐技术，即轴校准（调整嵌入空间以使跨语言对应物共位，MTransE-AC）、向量平移（MTransE-TV）以及不同语言间的嵌入空间线性变换（MTransE-LT）。其中MTransE-LT在知识对齐任务上取得了最佳性能。JAPE在[Sun等人，2017]中被介绍，它基于实体属性的相似性，加强了基于MTransE-AC的跨语言学习。这个模型在提供数值实体属性的知识库上表现良好，尽管这样的属性在许多知识库中通常不可用。另一个相关的模型ITransE [Zhu等人，2017]将自我训练纳入了MTransE-AC的硬对齐版本。ITransE用于对齐具有一致词汇表和三元组的单语言知识库中的实体，但我们发现它不适应不一致的多语言场景。请注意，包括LM [Mikolov等人，2013a]、CCA [Faruqui和Dyer，2014]以及基于正交变换的OT [Xing等人，2015]在内的离线多语言词嵌入模型也可以扩展到知识图谱，但在跨语言任务上被MTransE超越。

4. Cross-lingual knowledge graph alignment via graph convolutional networks

文章核心观点：
这篇文章介绍了一种基于图卷积网络(GCN)的多语言知识图谱实体对齐方法。该方法利用GCN为每个知识图谱中的实体生成嵌入表示，并基于实体嵌入之间的距离来发现新的实体对齐。文章的主要贡献包括：(1) 使用GCN建模实体之间的等效关系，专注于建模跨语言知识图谱中的实体对齐；(2) 可以有效融合实体的关系三元组和属性三元组信息，从而提高对齐结果；(3) 实验证明该方法优于基于嵌入的其他知识图谱对齐方法。总的来说，这篇文章提出了一种简单高效的多语言知识图谱实体对齐方法，取得了很好的对齐效果。

方法：

GCN基于实体嵌入：
使用GCN对每个KG中的实体进行嵌入，得到实体的结构和属性特征向量。
利用实体关系构建GCN的图结构，同时计算邻接矩阵以反映实体之间的信息传播概率。
GCN模型包含多个图卷积层，每层学习新的特征表示，并最终得到实体的低维向量表示。
对齐预测：
基于实体在GCN表示空间中的距离，计算不同KG中实体对之间的距离。
通过预定义的距离函数，对距离进行计算，并选择距离最小的实体对作为对齐候选。
模型训练：
使用已知的对齐实体作为训练数据。
通过最小化排名损失函数，使已知的对齐实体在嵌入空间中更接近，而非对齐实体更远。

转移范例：参数
转移资源：multilingual word embeddings
评估语言：英语，中文，日，法
评估数据集：DBP15K

相关工作：
JE（Hao等人，2016）在统一的向量空间中联合学习多个知识图谱的嵌入，以对齐知识图谱中的实体。JE使用一组种子实体对齐来连接两个知识图谱，然后使用修改后的TransE模型通过添加实体对齐的损失到其全局损失函数中来学习嵌入。
MTransE（Chen等人，2017）使用TransE在各自的嵌入空间中对每个知识图谱的实体和关系进行编码；它还为每个嵌入向量提供了转换到其他空间中的跨语言对应物的转换。MTransE的损失函数是两个组件模型损失的加权和（即，知识模型和对齐模型）。为了训练对齐模型，MTransE需要两组知识图谱的一组对齐的三元组。
JAPE（Sun等人，2017）结合结构嵌入和属性嵌入来匹配不同知识图谱中的实体。结构嵌入遵循TransE模型，学习两个知识图谱叠加图的实体的向量表示。属性嵌入遵循Skip-gram模型，旨在捕获属性之间的相关性。为了获得理想的结果，JAPE需要两个知识图谱的关系和属性事先被对齐。
ITransE（Zhu等人，2017）是一种适用于多个知识图谱的联合知识嵌入方法，也适用于跨语言知识图谱对齐问题。ITransE首先学习遵循TransE的实体和关系嵌入；然后它根据一组种子实体对齐学习将不同知识图谱的知识嵌入映射到一个联合空间中。ITransE通过使用新发现的实体对齐来更新实体的联合嵌入，执行迭代实体对齐。ITransE要求所有关系在知识图谱中共享。
上述方法遵循类似的框架来匹配不同知识图谱中的实体。它们都依赖于TransE模型来学习实体嵌入，然后定义对齐实体嵌入之间的某种转换。与这些方法相比，我们的方法使用了一个完全不同的框架；它使用图卷积网络（GCNs）在统一的向量空间中嵌入实体，期望对齐的实体尽可能接近。我们的方法只关注在两个知识图谱中匹配实体，并不学习关系的嵌入。MTransE、JAPE和ITransE都需要知识图谱中的关系被对齐或共享；我们的方法不需要这种先验知识。

2019~2020

5. Relation-aware entity alignment for heterogeneous knowledge graphs

文章核心观点
这篇文章介绍了一种名为RDGCN的关系感知对偶图卷积网络，用于异构知识图谱的实体对齐。该方法通过在原始知识图谱与其对偶关系图之间进行多轮交互，将关系信息纳入实体表示中，以更好地处理复杂的多关系图结构。同时，结合门控图卷积网络，有效整合了相邻结构信息。在三个真实世界的跨语言数据集上进行了评估，结果表明RDGCN在实体对齐任务中取得了最先进的性能，同时只需要较少的先验对齐数据。该方法的关键贡献在于提出了基于DPGCNN的关系感知多图学习框架，用于实体对齐。

方法：

构建原始图和对偶关系图：将两个异构知识图谱G1和G2组合成原始图Ge，并基于Ge构建其对偶关系图Gr，其中Gr的顶点对应Ge中的关系类型。
原始图和对偶关系图的交互：通过多轮交互，利用图注意力机制使原始图和对偶关系图之间进行信息交互，以获得关系感知的实体表示。
原始图表示学习：通过原始图的顶点表示与图注意力机制相结合，获得原始图中每个实体的表示。
GCN层和Highway Gate的应用：在原始图上应用带门控的GCN层，以进一步整合实体邻域的结构信息。
实体对齐：基于最终获得的实体表示，通过计算实体之间的距离，判断实体是否对齐。
训练：通过优化损失函数，使对齐实体对之间的距离最小，而非对齐实体对之间的距离最大。
多轮交互：重复步骤2-6，进行多轮原始图与对偶关系图的交互，以获得更优的实体表示。

补充：

对偶图：如果Gr(G1和G2)中的关系有相同的头或尾实体，将这两条关系用新的关系连接(原关系此处视为顶点)

转移范例：参数
转移资源：multilingual word embeddings，机器翻译(先翻译再嵌入)
评估语言：英语，中文，日，法
评估数据集：DBP15K

优势：解决冲突映射问题。

6. Jointly learning entity and relation representations for entity alignment

文章核心观点：
这篇文章介绍了一个新的实体对齐框架，通过联合建模知识图谱中的实体和关系，并无需预先对齐的关系作为训练数据，同时实现实体和关系的对齐。文章采用门控图卷积网络来自动学习高质量的实体和关系表示，并构建了包含关系信息和实体信息的联合实体表示。实验结果表明，该方法在多个数据集上优于现有实体对齐方法，并仅需较少的种子对齐实体即可获得更好的性能。文章创新之处在于提出了一个同时建模实体和关系的实体对齐框架，从而提高了对齐效果。

方法：

初步实体对齐：将两个知识图谱合并成一个图，利用图卷积网络对实体进行嵌入，计算实体之间的距离，并使用边缘损失函数进行训练，以发现潜在的实体对齐关系。
近似关系表示：根据头尾实体的嵌入表示，近似计算关系表示，并计算关系之间的相似度，以实现关系对齐。
联合实体和关系对齐：将相关关系的表示聚合到实体表示中，形成联合实体表示。接着，继续使用图卷积网络对联合实体表示进行优化，以实现更好的实体对齐。同时，实体对齐的改进也反过来促进了关系对齐的效果。
迭代优化：实体对齐的改进提供了更好的关系近似表示，而关系表示的改进又反过来促进了实体对齐的优化。通过迭代优化，最终实现更好的实体对齐和关系对齐效果。

补充：使用不同语言知识图谱中的实体名称进行模型初始化，将非英语实体名称翻译成英语，并使用预训练的英语词向量进行初始化。

相关工作：非翻译型基于嵌入的方法包括最近的研究工作，如基于图卷积网络（GCN）的模型（Wang等人，2018b）和NTAM（Li等人，2018）。此外，最新的研究工作，RDGCN（Wu等人，2019），引入了对偶关系图来模拟知识图谱（KGs）的关系信息。通过原始图和对偶图之间的242轮多次交互，RDGCN能够有效地将更复杂关系信息整合到实体表示中，并在实体对齐任务上取得了有希望的结果。然而，现有的方法只关注实体嵌入，忽略了关系表示在这方面可以提供的帮助。

转移范例：参数
转移资源：multilingual word embeddings，机器翻译(用于初始化嵌入)
评估语言：英语，中文，日，法
评估数据集：DBP15K

7. Aligning cross-lingual entities with multi-aspect information

文章核心观点：
这篇文章探讨了跨语言实体对齐任务，旨在匹配不同语言知识图谱中表达同一真实世界实体的实体。文章提出了基于图卷积网络(GCN)的模型来整合实体的多方面信息，包括拓扑结构、关系和属性，并利用预训练的多语言BERT模型学习实体描述的跨语言嵌入。实验结果表明，该方法在两个基准数据集上优于现有系统。

跨语言图嵌入：
使用图卷积网络(GCN)捕获实体节点的拓扑结构信息，初始化拓扑特征为单位矩阵，然后通过多层GCN学习实体的拓扑嵌入。
利用实体关系和属性信息，构建基于计数的N-hot向量表示实体关系和属性特征。
提出MAN模型，通过三层GCN分别学习实体的拓扑、关系和属性嵌入，并进行拼接得到多方面实体嵌入。
提出HMAN模型，使用GCN学习拓扑嵌入，并使用前馈神经网络学习关系和属性嵌入，进行拼接。
跨语言文本嵌入：
使用预训练的多语言BERT模型，学习实体的文本描述的跨语言表示。
提出点对点BERT，将源语言和目标语言实体的文本描述拼接后输入BERT，输出对齐概率。
提出成对BERT，分别对源语言和目标语言实体的文本描述进行编码，得到文本嵌入，并计算距离。
模块融合：
提出重排序策略，先用GCN模块产生候选实体池，再用点对点BERT模型对候选对进行重排序。
提出加权拼接策略，将GCN模块学习到的图嵌入和BERT模块学习到的文本嵌入按权重拼接。
实体对齐：利用l1距离衡量实体对之间的相似度，选择相似度高的实体对作为对齐结果。

转移范例：参数
转移资源：multilingual word embeddings，pre-trained
评估语言：英语，中文，日，法
评估数据集：DBP15K，DBP100K

8. Mraea: An efficient and robust entity alignment approach for cross-lingual knowledge graph

文章核心观点：
这篇文章介绍了一种名为MRAEA的新型实体对齐方法，用于跨语言知识图谱。其主要贡献包括： 1. 提出了元关系感知表示，融合了实体和关系的元语义信息，用于建模知识图谱的结构和关系信息。 2. 引入了关系感知自注意力机制，通过关注节点及其相邻节点和关联关系，来增强实体表示。 3. 提出了基于实体对齐非对称性的双向迭代训练策略，有效提高了对齐效果。 4. 在三个公开数据集上进行了广泛的实验，结果表明该方法显著优于现有技术，Hit@1提高了15%-58%。 5. 进行了充分的实证分析，验证了各个新组件的有效性。 6. 提出了基于机器翻译的无监督实体对齐方法，也取得了最优性能。总体而言，该方法通过建模知识图谱的复杂结构和关系语义信息，提高了跨语言实体对齐的效果。

方法：

元关系感知表示：为每个关系创建逆关系，将关系类型、方向等元语义信息与实体结构信息融合，构建元关系感知的实体表示。
关系感知自注意力：对每个实体，不仅关注其邻接实体，还关注与之相连的关系，以建模复杂关系。
实体对齐模型：利用Manhattan距离计算不同语言图谱中实体间的距离，以找到最近的跨语言对齐实体。
双向迭代策略：基于对齐方向的不对称性，提出双向迭代策略，选择互为最近邻居的实体对作为新的对齐种子，用于下一轮训练。

转移范例：参数
转移资源：multilingual word embeddings，机器翻译(zero-shot,seed)
评估语言：英语，中文，日，法，德
评估数据集：DBP15K，WK31-60K，SRPNormal

9. Cross-lingual knowledge graph alignment via graph matching neural network

文章核心观点：
这篇文章主要讨论了跨语言知识图谱对齐的问题。作者提出了一种新的方法，利用主题实体图来表示实体及其上下文信息，并将知识图谱对齐任务建模为图匹配问题。作者进一步提出了一种基于图注意力机制的图匹配模型，该模型可以有效地编码实体匹配信息，并生成全局图匹配向量。实验结果表明，该方法优于现有的状态转移方法。

方法：

输入表示层：使用图卷积网络(GCN)对两个主题实体图进行编码，得到每个图中所有实体的嵌入表示。
节点级匹配层：通过注意力机制，计算两个图中所有实体对之间的匹配向量，为每个实体生成一个跨语言匹配向量。
图级匹配层：利用图卷积网络(GCN)传播节点级匹配信息，得到每个图的图级匹配表示。
预测层：使用全连接神经网络处理图级匹配表示，输出最终匹配概率。
训练与推理：使用交叉熵损失函数训练模型，并在测试时根据匹配概率对实体进行排序。

相关工作：传统方法通常只从单语言知识图谱结构中学习实体嵌入，传统方法没有将实体的表面形式信息(名称，描述等)编码到实体嵌入中。

转移范例：参数
转移资源：multilingual word embeddings
评估语言：英语，中文，日，法
评估数据集：DBP15K

2021~2022

10. Visual Pivoting for (Unsupervised) Entity Alignment

文章核心观点：
这篇文章介绍了一种名为EVA的新型模型，利用图像作为不同知识图谱中实体对齐的支点。通过可学习的注意力权重方案，模型能够融合来自知识图谱的多模态信息，实现实体的联合嵌入表示。此外，该模型可以仅使用视觉相似性自动诱导种子字典，无需任何标注的对齐标签。实验结果表明，EVA模型在两个标准基准测试集上取得了最先进的性能，无论是半监督还是无监督设置下。此外，文章还提供了对每个模态贡献的消融研究，并进行了深入的误差分析。总体而言，这项工作首次探讨了将图像作为实体表示的一部分用于知识图谱的实体对齐，取得了最先进的性能。

转移范例：参数
转移资源：multilingual word embeddings，图片
评估语言：英语，中文，日，法
评估数据集：DBP15K

不足：图像资源的覆盖率不足。以及实体的视觉表示不稳定，可能存在多个合理的视觉解释，这可能导致错误的对齐。

11. From Alignment to Assignment: Frustratingly Simple Unsupervised Entity Alignment

文章核心观点：
这篇文章提出了一种名为SEU的无监督跨语言实体对齐方法。该方法通过假设源语言和目标语言的知识图谱在结构和文本特征上同构，将跨语言实体对齐问题转换为一个指派问题。SEU方法仅保留基础的图卷积操作用于特征传播，而省去了复杂的神经网络，从而大大提高了效率和可解释性。实验结果显示，SEU方法在多个公共数据集上的表现优于所有先进的监督方法，并且具有高效率、可解释性和稳定性。

转移范例：参数
转移资源：Multilingual representations，machine translation（实体名称）
评估语言：中文、英语、法语、日语和德语
评估数据集：DBP15K，SRPRS

12. RAGA: Relation-Aware Graph Attention Networks for Global Entity Alignment

文章核心观点：
这篇文章介绍了一种名为RAGA的实体对齐框架，用于发现不同知识图谱中的相同实体。该框架采用基于关系的图注意力网络来建模实体和关系之间的相互作用，并通过全局对齐算法生成全局对齐结果。实验证明，RAGA在三个跨语言知识图谱数据集上均优于当前最优的实体对齐方法。

动机：

多关系利用不足：现有方法在实体表示时没有充分利用实体间的多个关系，这限制了实体表示的准确性。
缺乏全局视角：几乎所有的实体对齐方法都采用局部对齐策略，即独立为每个实体选择最佳匹配，这可能导致多对一的对齐，存在冲突。

方法：

基本邻居聚合网络：利用图卷积网络获取基本实体表示。
关系感知图注意力网络：通过自注意力机制建模实体与关系之间的交互，获得关系感知的实体表示。
端到端训练：通过负采样和 hinge 损失进行端到端训练，以获得更好的实体嵌入。
全局对齐算法：基于细粒度的相似度矩阵，采用延迟接受算法实现全局对齐，以生成全局无冲突的一对一实体对齐结果

转移范例：参数
转移资源：Multilingual representations（GloVe提供的词向量），机器翻译(Google Translate)
评估语言：英语，中文，日，法
评估数据集：DBP15K

13. Entity Alignment for Knowledge Graphs with Multi-order Convolutional Networks

文章核心观点：
本文介绍了一种名为EMGCN的框架，用于跨语言知识图谱的无监督实体对齐。该框架基于多阶图卷积网络，能够捕获实体间的关系相关性，并通过机器翻译来融合不同语言的知识图谱的属性信息。此外，该框架采用了晚期融合机制，整合了关系、属性类型和属性值信息，以生成对齐结果。实验结果显示，该模型比现有基准准确率提高了22.71%，且速度更快，同时具有更强的鲁棒性。此外，该模型能够节省大量标注工作，适用于实际应用。

贡献：

我们提出了一个名为多阶图卷积网络实体对齐（EMGCN）的框架，用于无先验知识的无监督知识图谱（KG）实体对齐。由于该框架基于晚融合机制，可以整合丰富的KG信息（例如关系三元组、属性类型、属性值），而不论其模态如何。这使我们成为文献中第一个成功使用属性值的。
我们设计了一个基于图卷积网络（GCN）的模型，利用GCN的罕见特性，包括多阶和排列不变性，同时整合与关系相关的不同一致性约束。我们还定制了损失函数，以加强两个KG的嵌入的联合和一致学习，以支持它们的对齐并避免它们的嵌入空间的调和。
我们利用机器翻译的进步来协调跨语言KG的属性信息，无需任何与人类相关的监督数据。尽管自动翻译器的性能在许多情况下并不完美，但所提出的策略优于以前工作[6]中使用的基于频率的策略，并有助于提高最终结果。

方法：

构建关系网络：从输入的源知识图谱和目标知识图谱中提取关系网络。
多阶图卷积网络：采用设计的多阶图卷积网络模型学习实体的关系感知嵌入表示，并通过损失函数最小化一致性约束的违反来训练模型。
关系对齐：计算每个图卷积层对应的单阶对齐矩阵，并进行加权求和得到最终的关系对齐矩阵。同时，设计一个迭代过程来检测和减轻噪声的影响。
属性对齐：利用机器翻译技术构建属性字典，计算基于属性类型和属性值的相似性，并生成属性对齐矩阵。
整体对齐：将关系对齐矩阵、属性类型对齐矩阵和属性值对齐矩阵进行融合，得到最终的整体对齐矩阵。
提取对应实体：通过贪心算法从对齐矩阵中提取对应实体。

转移范例：参数
转移资源：Multilingual representations（GloVe提供的词向量），机器翻译(Google Translate)
评估语言：英语，中文，日，法
评估数据集：DBP15K

2023~2024

14. FuAlign: Cross-lingual entity alignment via multi-view representation learning of fused knowledge graphs

文章核心观点:
这篇文章介绍了一个名为FuAlign的新型跨语言实体对齐框架。其主要贡献包括：1) 基于种子实体对齐信息，先融合两个知识图谱，然后学习融合知识图谱的多视图表示，避免了对不同嵌入空间进行变换的误差；2) 提出了多视图嵌入模型，包含语义、上下文和长期依赖三种信息，以有效学习实体表示；3) 引入了基于可靠性的稳定匹配算法，解决了一对多匹配和低可靠性匹配问题；4) 在多个数据集上进行了大量实验，结果表明FuAlign优于大部分基准方法，与BERT方法性能相当。综合来看，文章通过知识图谱融合和多视图表示学习，有效提升了跨语言实体对齐的性能。

动机：

翻译基础模型：这些模型通过学习不同知识图谱的实体嵌入，然后基于种子集学习嵌入空间的转换，但这种方法存在错误转换的问题，因为种子集和整个实体集在嵌入空间的分布差异会导致错误。
基于图神经网络(GNN)的模型：这些模型利用GNN获取节点的邻域信息进行表示学习，但难以同时学习语义和结构信息。
基于语义信息的模型：这些模型利用实体名称的语义信息进行对齐，包括基于词嵌入的方法和基于BERT的方法。基于BERT的方法取得了state-of-the-art的性能，但忽略了知识图谱中的长期实体依赖信息，并且训练非常计算密集。

方法：

知识图谱融合：基于预对齐种子集，将两个匹配的知识图谱融合为一个统一的图谱。
多视图表示学习：利用以下三个信息对融合图谱进行多视图表示学习：

语义信息：利用词嵌入模型学习实体名称的语义信息。
上下文信息：基于TransE模型和基于翻译的消息传递方案，学习实体邻域上下文信息。
长期依赖信息：利用关系感知的随机游走模型学习实体之间的长期依赖信息。

基于可靠性的稳定匹配：使用可靠性矩阵计算实体对之间的可靠性，然后采用基于可靠性的稳定匹配算法生成高可靠性的对齐结果。

转移范例：参数
转移资源：Multilingual representations，机器翻译(Google Translate翻译实体名称)
评估语言：英语，中文，日，法，德
评估数据集：DBP15K，SRPRS

15. Multi-view knowledge graph fusion via knowledge-aware attentional graph neural network

文章核心观点：
这篇文章介绍了一种名为KAGNN的基于知识感知注意力图神经网络的多视图知识图谱融合模型。该模型结合了知识三元组语义和邻居结构信息，以学习更好的实体表示。文章设计了知识感知注意力机制，以保留原始三元组语义并确定每个知识三元组的重要性。同时，采用了三层高速公路门控图卷积网络，以捕获复杂的邻居结构信息。实验结果显示，该模型在三个跨语言多视图知识图谱数据集上的性能优于多个基准模型，证明了其有效性。综合来看，该文章通过有效结合知识三元组和邻居结构信息，提出了一种多视图知识图谱融合的有效方法。

方法：

Knowledge-aware attentional representation：三元组语义信息
Neighboring structure representation：复杂的邻居结构信息

转移范例：参数
转移资源：Multilingual representations（GloVe提供的词向量），机器翻译(Google Translate翻译实体名称)
评估语言：英语，中文，日，法
评估数据集：DBP15K

相关工作：MVKGF（多视图知识图谱融合）通常旨在对齐多视图知识图谱中的实体。因此，我们将在这一部分介绍一些现有的实体对齐方法。TransE[6]是一种代表性的知识图谱嵌入方法，许多实体对齐方法都是基于它开发的。Hao等人提出了JE[11]方法，它在统一的向量空间中共同学习多个知识图谱的嵌入。MTransE[12]也应用TransE来学习关系和实体的表示，并构建不同知识图谱之间的转换。Sun等人提出了JAPE[13]，使用关系和属性三元组来嵌入实体和关系的嵌入以进行实体对齐。IPTransE[14]将各种知识图谱的实体和关系编码到一个统一的语义空间中，以进行迭代对齐。BootEA[15]采用自举过程将可能的对齐标记为训练数据，并在迭代中编辑对齐。KDCoE[26]是一种半监督方法，它共同训练知识图谱嵌入和实体描述的嵌入以进行实体对齐。Ttrisedya等人[27]提出了一种方法，将实体结构嵌入与属性表示集成以进行实体对齐。SEA[28]设计了一种基于循环一致性的翻译损失，利用对齐和未对齐的实体来确定实体对齐。MultiKE[29]通过多视图知识图谱嵌入框架学习实体嵌入。NAEA[30]将知识图谱的邻域级别和关系级别信息纳入嵌入多语言知识图谱。
近年来，为了更好地利用网络结构信息，基于图神经网络（GNN）的实体对齐模型越来越多地被开发。GCN-Align[19]基于GCN层学习到的实体嵌入发现实体对齐。GMNN[20]将实体对齐视为图匹配问题，其中构建了一个主题图来表示实体的上下文信息。MuGNN[31]通过多通道GNN层完成知识图谱的补全和修剪独占实体，以学习面向对齐的知识图谱嵌入。最近，KECG[32]和AliNet[33]被提出，利用知识和事实以及邻居结构来解决多视图融合问题。RDGCN[21]引入了一个双重关系图，并通过原始知识图谱拓扑结构与其双重关系图之间的注意力交互来整合关系信息，并进一步利用高速公路门控GCN层进行实体对齐。然而，这种方法不能保留知识图谱中的语义。Wu等人[34]提出了一个新的框架，通过共同建模知识图谱的实体和关系来进行实体对齐。

16. Bi-Neighborhood Graph Neural Network for cross-lingual entity alignment

文章核心观点：
这篇文章介绍了一种名为Bi-Neighborhood Graph Neural Network (BNGNN)的跨语言实体对齐模型。该模型将实体和属性整合为一个统一的实体-属性图，通过实体邻域和属性邻域的双向聚合，以及高速公路门控机制，有效地增强不同邻域特征之间的交互作用。实验结果显示，BNGNN在多个数据集上的性能表现优于现有方法，特别是在稀疏实体对齐场景中。此外，BNGNN采用两阶段训练策略，联合进行实体对齐和属性对齐，以增强模型对齐效果。总的来说，BNGNN通过统一的实体-属性图建模，以及增强邻域特征交互，有效地提升了跨语言实体对齐的性能。

动机：

大多数现有方法只依赖关系三元组来学习实体表示，忽略了属性三元组提供的有用信息。
一些方法虽然考虑了属性信息，但将关系三元组和属性三元组分别建模在不同的网络中，阻碍了不同三元组对齐信息的传播，并且不同邻域特征之间缺乏交互。
一些方法使用不同的组件来提取实体邻域和属性邻域特征，然后通过后期融合获得最终实体表示，但在消息传递过程中未考虑不同特征之间的交互。
机器翻译无法保证质量，仅依赖字符串相似性的传统方法可能失败。
基于翻译的方法在处理复杂关系时存在局限性。
长尾实体连接的关系三元组较少，现有方法难以对其进行有效对齐。

方法：

构建实体-属性图：将实体和属性集成到统一的实体-属性图中，以促进对齐信息的传播。
设计双邻域聚合层：每一层都执行双邻域聚合，以同时捕获实体邻域和属性邻域的结构相似性。具体来说，使用属性感知的自注意力机制进行实体邻域聚合，并使用图注意力网络进行属性邻域聚合。
特征融合：通过高速公路门控机制将两种特征融合，生成更具代表性的实体嵌入。
全局感知实体表示：通过拼接多个层的输出，获得包含高层结构信息的全局感知实体表示。
两阶段训练策略：首先进行基本训练，仅关注实体对齐；然后进行联合训练，同时进行实体对齐和属性对齐，并迭代生成新的对齐种子。
实体对齐：基于全局实体表示的距离，找到每个源实体的跨语言对应实体

转移范例：参数
转移资源：Multilingual representations（GloVe提供的词向量），机器翻译(Google Translate翻译实体名称)，pre-trained(BERT)
评估语言：英语，中文，日，法，德
评估数据集：DBP15K，S-DBP15K

17. SCMEA: A stacked co-enhanced model for entity alignment based on multi-aspect information fusion and bidirectional contrastive learning

文章核心观点：
这篇文章提出了一种名为SCMEA的跨语言知识图谱实体对齐框架，该框架基于多方面信息融合和双向对比学习。SCMEA采用不同的表示学习模型来嵌入实体的多方面信息，并通过自适应加权机制将它们整合到一个统一的嵌入空间中。此外，文章提出了一个堆叠的关系-实体协同增强模型，以进一步提高实体的表示。最后，文章介绍了一个结合损失函数，通过改进的双向对比学习来优化模型参数和实体表示。在5个跨语言数据集上的实验结果表明，该模型在各种评价指标上取得了不同程度的性能提升，验证了模型的有效性和稳健性。

方法：

多方面信息实体嵌入：采用不同的表示学习模型从多方面信息中学习每个实体的表示，并通过自适应加权机制将其融合成一个统一的嵌入空间。
关系表示学习：利用全局实体注意力机制（Global Entity Attention）和实体收集器（Entity Collector）学习关系的表示。
堆叠关系实体协同增强模型：采用堆叠门控网络结构，通过关系表示增强实体表示，并通过实体表示增强关系表示，在堆叠层之间实现协同增强。
对齐学习：利用改进的双向对比损失函数优化模型参数和实体表示，以实现更好的对齐效果。
扩展训练数据：在训练过程中，采用迭代策略扩展训练数据，以进一步提高对齐效果。
对齐结果计算：计算源实体和目标实体的相似性矩阵，并通过排序获取对齐结果。

转移资源：Multilingual representations（GloVe提供的词向量），机器翻译(Google Translate翻译实体名称)，
评估语言：英语，中文，日，法，德
评估数据集：DBP15K，SRPRS

Chen0495