2021年3月9日
Transformer中K 、Q、V的设置以及为什么不能使用同一个值
摘要： What is attention？ 先简单描述一下attention机制是什么。相信做NLP的同学对这个机制不会很陌生，它在Attention is all you need可以说是大放异彩，在machine translation任务中，帮助深度模型在性能上有了很大的提升，输出了当时最好的sta 阅读全文
posted @ 2021-03-09 22:19 Jerry_Jin 阅读(7362) 评论(0) 推荐(0) 编辑