摘要：借助 "BERT" 论文, 梳理下自然语言处理当前常见的任务. NLP任务 根据判断主题的级别, 将所有的NLP任务分为两种类型: token level task : token级别的任务. 如 完形填空 (Cloze), 预测句子中某个位置的单词; 或者 实体识别 ; 或是 词性标注 ; SQu 阅读全文

摘要：Transformer 本文介绍了 Transformer 结构, 是一种 encoder decoder , 用来处理序列问题, 常用在NLP相关问题中. 与传统的专门处理序列问题的encoder decoder相比, 有以下的特点: 结构完全 不依赖于CNN和RNN 完全依赖于 self att 阅读全文