2019年10月12日
自注意力机制总结
摘要： 假设现在有一个句子（s1,s2,s3）,v是s的转置 第一个词和每一个词的内积 相似度越大 结果越大 s1 v1 s1 v2 s1 v3 第二个词和每一个词的内积 s2 v1 s2 v1 s2 v3 第三个词和每一个词的内积 s3 v1 s3 v2 s3v3 横向在每一行内做softmax可以得到每 阅读全文
posted @ 2019-10-12 21:03 FromZeroToOne 阅读(2680) 评论(0) 推荐(0) 编辑