随笔分类 -  语言模型

XLnet
摘要：XLnet 阅读全文
posted @ 2020-01-03 23:12 甲乙丙2333 阅读(87) 评论(0) 推荐(0)
GPT
摘要：GPT 阅读全文
posted @ 2019-12-31 08:10 甲乙丙2333 阅读(102) 评论(0) 推荐(0)
ELMo
摘要：o 阅读全文
posted @ 2019-12-31 08:05 甲乙丙2333 阅读(83) 评论(0) 推荐(0)
BERT
摘要：BERT 阅读全文
posted @ 2019-12-31 07:54 甲乙丙2333 阅读(84) 评论(0) 推荐(0)
谷歌T5
摘要：Google 最新(19.10)提出的预训练模型T5(Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer) 最近放出了源代码及paper. 连续刷榜GLUE SuperGLUE两大benc 阅读全文
posted @ 2019-12-30 23:14 甲乙丙2333 阅读(335) 评论(0) 推荐(0)
seq2seq
摘要：【符号简介】 ———————————————————————— m——编码器的隐层神经元个数 n——输入序列词向量维度 p——解码器隐层神经元个数 q——输出序列词向量维度 v——词汇表大小 ———————————————————————— 【正文开始】 我们之前遇到的较为熟悉的序列问题，主要是利用 阅读全文
posted @ 2019-12-29 23:12 甲乙丙2333 阅读(686) 评论(0) 推荐(0)