FLAT Flat-Lattice-Transformer收获
论文整体使用了transformer的编码层,对于自注意力的计算方式进行了改变,引入了相对位置编码。
主要创新点:
将lattice-LSTM中词的图结构信息给“拉平”成统一的序列输入,从而解决了LSTM无法高效并行,而transformer具有更强的语义和长依赖的编码能力。
引入相对位置编码,这个位置编码表示了不同span之间的位置信息,对于识别实体的范围十分有效。
论文整体使用了transformer的编码层,对于自注意力的计算方式进行了改变,引入了相对位置编码。
主要创新点:
将lattice-LSTM中词的图结构信息给“拉平”成统一的序列输入,从而解决了LSTM无法高效并行,而transformer具有更强的语义和长依赖的编码能力。
引入相对位置编码,这个位置编码表示了不同span之间的位置信息,对于识别实体的范围十分有效。
