摘要:
Recap关于transformer的基础 | 手写transformer | 理解nn.Embedding 关于transformer的基础 | 手写transformer 以notebook的形式记录下了transformer基础思路,以及手动实现transformer的少量代码。为后续reca 阅读全文
posted @ 2022-06-27 04:53
traviscui
阅读(119)
评论(0)
推荐(0)
摘要:
PyTorch中transformer相关类的使用 目的是大概了解一下pytorch中用transformer是什么样的逻辑。 Attention multi_head_attention_forward函数:通过一步一步看源码的调用发现其实最基本的进行attention的操作其实在这里,不过并没有 阅读全文
posted @ 2022-06-27 04:26
traviscui
阅读(95)
评论(0)
推荐(0)

浙公网安备 33010602011771号