Self-Attetion
摘要:
四、self-attention 1、是什么? attention机制通常用在encode与decode之间,但是self-attention则是输入序列与输出序列相同,寻找序列内部元素的关系即 K=V=Q。l例如《Attention Is All You Need》在编码器中使用self-atte 阅读全文
posted @ 2019-06-01 22:28 吱吱了了 阅读(701) 评论(0) 推荐(0)
posted @ 2019-06-01 22:28 吱吱了了 阅读(701) 评论(0) 推荐(0)