摘要：使用Pytorch手把手搭建一个Transformer网络结构并完成一个小型翻译任务。 首先，对Transformer结构进行拆解，Transformer由编码器和解码器（Encoder-Decoder）组成，编码器由Multi-Head Attention + Feed-Forward Netwo 阅读全文

摘要：其中，Transformer和BERT来自Google，GPT系列【GPT、GPT-1、GPT-2、GPT-3、ChatGPT、GPT-4】来自OpenAI。 GPT Paper名为Improving Language Understanding by Generative Pre-Training 阅读全文

摘要：Transformer Transformer是完全由Attention和Self-Attention结构搭建的深度神经网络结构。 其中最为重要的就是Attention和Self-Attention结构。 Attention结构 Attention Layer接收两个输入$X = [x_1, x_2 阅读全文

摘要：Seq2Seq + Attention Seq2Seq模型，有一个Encoder和一个Decoder，默认认为Encoder的输出状态h_m包含整个句子的信息，作为Decoder的输入状态s_0完成整个文本生成过程。这有一个严重的问题就是，最后的状态不能记住长序列，也就是会遗忘信息，那么Decode 阅读全文

摘要：Transformer在NLP任务中表现很好，但是在CV任务中应用还很有限，基本都是作为CNN的一个辅助，Vit尝试使用纯Transformer结构解决CV的任务，并成功将其应用到了CV的基本任务--图像分类中。 因此，简单而言，这篇论文的主旨就是，用Transformer结构完成图像分类任务。 图 阅读全文