2022年8月1日
transformer多头自注意力
摘要： transformer多头自注意力 参考：《手动学深度学习》https://zh.d2l.ai/chapter_attention-mechanisms/multihead-attention.html 1.1 缩放点积注意力 示意图如下： 缩放点积注意力的公式是 $$ \mathrm{softma 阅读全文
posted @ 2022-08-01 17:31 aminor 阅读(789) 评论(0) 推荐(1)
/**/ /**/