2020年3月1日
[NLP]AR模型与AE模型
摘要： AR语言模型(AutoRegressive LM)：只能获取单向信息，即只能前向读取信息并预测t位置的单词或者从后向读取信息并预测t位置的单词，却不能同时获取双向信息，代表例子是GPT，GPT2，XLNet，ELMO AR LM的优点：比较擅长生成类任务 缺点：只能获取单向信息，不能获取双向信息。 阅读全文
posted @ 2020-03-01 22:59 justDoIT& 阅读(1824) 评论(1) 推荐(0)