2021年10月27日
【自然语言处理】：自注意力机制(self-attention)原理介绍
摘要： 一.最常见的self-attention 对于自注意力机制而言，我们有的时候会遇到词性分类的任务，比如说给定一句话，我想知道这句话当中每一个单词的词性。但是使用双向lstm呢，会有很多信息被忽略掉，尤其是一些位于后面的词很可能前面的词对它的影响没有那么大，即使我们的lstm考虑了一些遗忘门，增强记忆 阅读全文
posted @ 2021-10-27 21:35 Geeksongs 阅读(3860) 评论(0) 推荐(0)

Coded by Geeksongs on Linux

All rights reserved, no one is allowed to pirate or use the document for other purposes.