摘要：Transformer 1. 前言 正如论文的题目所说的，Transformer中抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。更准确地讲，Transformer由且仅由self-Attenion和Feed Forward Neural Network组成。一个基于Tr 阅读全文

摘要：# GPT-2 1. 前言 2 月 15 日，OpenAI 在官博介绍了一个大规模无监督 NLP 模型：GPT 2.0，被称为“史上最强通用 NLP 模型”。该模型可以生成连贯的文本段落，刷新了 7 大数据集基准，并且能在未经预训练的情况下，完成阅读理解、问答、机器翻译等多项不同的语言建模任务。 在 阅读全文