文章分类 -  transformer系列

摘要：代码来自：46、四种Position Embedding的原理与PyTorch手写逐行实现（Transformer/ViT/Swin-T/MAE）_哔哩哔哩_bilibili 先码住，之后再细细分析。不去试验有些都看不懂…… import torch import torch.nn as nn # 阅读全文

摘要：Attention is all you need原文提供的代码是基于Tensor2Tensor的。因为现在学术界比较常用pytorch，所以我就去找了一下pytorch实现的相关资料。 参考：19、Transformer模型Encoder原理精讲及其PyTorch逐行实现_哔哩哔哩_bilibil 阅读全文

摘要：2017年，Google机器翻译团队发表的《Attention is all you need》中大量使用了自注意力（self-attention）机制来学习文本表示。是transformer在NLP中应用的开山之作。transformer成为了独立于cnn的一种网络架构。 1、Motivation 阅读全文