摘要：
简介 ERNIE 3.0 融合了自回归和自编码，在由纯文本和大规模知识图谱组成的 4TB 语料库上训练大规模知识增强模型，传播了自然语言理解、自然语言生成和知识提取三个任务范式。 框架 自然语言处理的不同任务范式始终依赖于相同的底层抽象特征，例如词汇信息和句法信息，但顶级具体特征的要求是不相容的，其 阅读全文
posted @ 2025-01-07 15:53
Barn
阅读(180)
评论(0)
推荐(0)
摘要：
Transformer可以接收一整段序列，然后使用self-attention机制来学习它们之间的依赖关系，但其在语言建模时受到固定长度上下文的限制（固定长度的输入、绝对位置编码的限制、注意力机制的计算复杂度）。 Transformer-XL以此为基础，引入一个片段级递归机制和一种新的位置编码方案， 阅读全文
posted @ 2025-01-02 11:10
Barn
阅读(195)
评论(0)
推荐(0)
摘要：
模型 论文中提出的模型旨在联合处理提及词汇和共指关系。 该模型由一个编码器、一个用于提及识别的CRF解码器和一个用于共指识别的BiAffine解码器组成。 此外，利用HowNet的sememe知识增强了编码器。 基础模型 编码器：利用 BERT 作为基本编码器： \[h_1 ... h_n = BE 阅读全文
posted @ 2024-07-31 12:23
Barn
阅读(120)
评论(0)
推荐(0)
摘要：
代码及数据集：https://gitee.com/tmg-nudt/multi-view-of-expert-for-chinese-relation-extraction MoVE框架 模型可分为三部分：Multi-View Features Representation, Mixture-of- 阅读全文
posted @ 2024-07-31 11:38
Barn
阅读(64)
评论(0)
推荐(0)
摘要：
WSA-CNER方法 首先，将输入序列的每个字映射成一个字向量； 然后，将外部词汇信息整合到每个字的最终表示中； 最后，将字的最终表示输入到序列建模层和标签预测层中，得到最终的预测结果。 输入表示层 使用SoftLexicon方法将输入序列中每个字的词典匹配结果划分为4个词集（BMES）。 输入序列 阅读全文
posted @ 2024-07-31 10:50
Barn
阅读(80)
评论(0)
推荐(0)
摘要：
问题定义 由于词级中文 NER 存在第三方解析器分割的边界错误，因此考虑将字符级 NER 作为默认设置。 使用'BMES'标记方案进行字符级NER，将标记表述为序列标记问题。即，对于句子\(s={c_1,...,c_n}\)中的每个字符\(c_i\)，使用标签集中的标签进行标记\(L={B,M,E, 阅读全文
posted @ 2024-07-29 18:40
Barn
阅读(94)
评论(0)
推荐(0)
摘要：
用以解决重叠关系问题 GGNNs模型 GGNNs（门控图神经网络，Gated Graph Neural Networks）是一种处理图结构数据的神经网络模型。它是图神经网络（GNN）的一个变体，使用了类似于长短时记忆网络（LSTM）中的门控机制来更有效地处理图中的信息流。 GGNNs的核心机制 GG 阅读全文
posted @ 2024-07-29 12:12
Barn
阅读(65)
评论(0)
推荐(0)
摘要：
对应代码的github网址：https://github.com/WeizheYang-SHIN/Feature_Engineering_RE 神经化特征工程模型的架构 本文提出的识别实体关系的模型分为两个组件：特征工程组件和神经网络组件。 特征工程组件包含两个步骤：特征提取和特征组合。 在特征提取 阅读全文
posted @ 2024-07-29 11:07
Barn
阅读(45)
评论(0)
推荐(0)
摘要：
模型框架 包含一个BERT模型层（嵌入+编码+池化->得到句子的特征向量）、一个Dropout层（防止过拟合）。 基于BERT的预训练模型 BERT模型是通过注意力机制对训练集进行处理。然后，通过Embedding层和Encoder层加载预训练的词向量。 最后，Pooling 层使用 BERT 模型 阅读全文
posted @ 2024-07-29 10:14
Barn
阅读(83)
评论(0)
推荐(0)
摘要：
将深度提示调优框架与三重知识（即TKDP）相结合，包括内部上下文知识和外部标签知识和语义知识。 引言 现有的少样本NER可分为3种：基于词-语义的方法、基于标签-语义的方法和基于提示的方法。 基于词语义的方法完全依赖于输入词及其上下文。 基于标签语义的方法需要额外利用标签知识。 基于提示的方法建立在 阅读全文
posted @ 2024-07-26 13:15
Barn
阅读(115)
评论(0)
推荐(0)
浙公网安备 33010602011771号