2023年10月7日
from_rnn_2_transformer-cnblog
摘要： 从RNN到Transformer 各式各样的“attention” 不管是在CV领域还是NLP领域， attention实质上就是一种取权重求和的过程。使得网络focus在其应该focus的地方。 根据Attention的计算区域，可以分成以下几种： 1）Soft Attention，这是比较常见的 阅读全文
posted @ 2023-10-07 18:41 xle97 阅读(134) 评论(0) 推荐(0)