FLAT Flat-Lattice-Transformer收获

论文整体使用了transformer的编码层,对于自注意力的计算方式进行了改变,引入了相对位置编码。

主要创新点:

将lattice-LSTM中词的图结构信息给“拉平”成统一的序列输入,从而解决了LSTM无法高效并行,而transformer具有更强的语义和长依赖的编码能力。

引入相对位置编码,这个位置编码表示了不同span之间的位置信息,对于识别实体的范围十分有效。

posted on 2022-06-05 12:04  啥123  阅读(88)  评论(0)    收藏  举报