Transformer总结-2022版

大家好，我是对白。

很多人的“记忆”并没那么好,特别是对名字.这些年各种各样的transformer涌现出来,各有各的优势,但是他们的名字却不能直白的看出该版本的transformer到底做了什么.这篇的目的就是把所有流行的transformer进行清晰简单的分类,以便大家对transformer家族快速梳理。

Transformer是什么就不用多说了,2017年开始至今引用量将近4w的论文提出了一个encoder-decoder的模型取代了历年一直用的LSTM或者其他RNN,正如标题所述该论文最重要的就是Attention结构了.Transformer最基础的结构如下所示:

图片

顺便温习一下最"核心"的multi-headed attention结构,该结构"匹配"query和key-value对,并且输出value的权重和,value的权重来自于query和key的attention值.Transformer结构使用了多头机制,并行计算特定的attention值,计算方式采用的是Scaled Dot-Product Attentio,如下图所示:

图片

总结transformer主要由以下几个部分组成:

预训练架构: Encoder-Decoder

预训练任务:

  • Language Modeling(LM) 预测下个token

  • Masked Language Modeling(MLM) 完形填空

  • Permuted Language Modeling(PLM) 对句子做排列

  • Denoising Autoencoder(DAE): 句子中做随机采样,或者随机删除一些token,又或是打乱句子顺序,目标是恢复之前的输入

  • Contrastive Learning(CTL): 各种对比学习方法

应用:问答、情感分析、实体识别等.

Catalog table

图片

图片

图片

图片

图片

图片

公众号后台回复：Transformer，即可下载上述总结好的Transformer文档

最后欢迎大家关注我的微信公众号：对白的算法屋（duibainotes），跟踪NLP、推荐系统和对比学习等机器学习领域前沿，日常还会分享我的创业心得和人生感悟。想进一步交流的同学也可以通过公众号加我的微信，和我一同探讨技术问题，谢谢！

posted @ 2022-03-29 21:51  对白的算法屋  阅读(97)  评论(0)    收藏  举报