那少年和狗

摘要： Contextualized Word Embedding 同样的单词有不同的意思，比如下面的几个句子，同样有 “bank” ，却有着不同的意思。但是用训练出来的 Word2Vec 得到 “bank” 的向量会是一样的。向量一样说明 “word” 的意思是一样的，事实上并不是如此。这是 Word2V 阅读全文

摘要： Self-Attention 之前的RNN输入是难以并行化的，我们下一个输入可能依赖前一个输出，只有知道了前面的输出才能计算后面的输出。 于是提出了 self-attention ，但是这时候 $b^{i}$ 能够并行化计算 论文地址：https://arxiv.org/pdf/1706.03762 阅读全文