会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
野哥李
From Zero To Hero 努力进阶中.......
博客园
首页
新随笔
联系
订阅
管理
2024年3月25日
Transformer
摘要: Transformer 自注意力机制 自注意力机制核心就是计算句子在编码过程中每个位置上的注意力权重,然后再以权重和的方式计算整个句子的隐含向量表示 attention核心? self-attention 核心公式: \(\text{Attention}(Q,K,V) = \text{softmax
阅读全文
posted @ 2024-03-25 17:42 野哥李
阅读(155)
评论(0)
推荐(0)
公告