随笔分类 -  论文阅读

XLnet
摘要：XLnet 阅读全文
posted @ 2020-01-03 23:12 甲乙丙2333 阅读(87) 评论(0) 推荐(0)
GPT
摘要：GPT 阅读全文
posted @ 2019-12-31 08:10 甲乙丙2333 阅读(102) 评论(0) 推荐(0)
ELMo
摘要：o 阅读全文
posted @ 2019-12-31 08:05 甲乙丙2333 阅读(83) 评论(0) 推荐(0)
BERT
摘要：BERT 阅读全文
posted @ 2019-12-31 07:54 甲乙丙2333 阅读(84) 评论(0) 推荐(0)
谷歌T5
摘要：Google 最新(19.10)提出的预训练模型T5(Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer) 最近放出了源代码及paper. 连续刷榜GLUE SuperGLUE两大benc 阅读全文
posted @ 2019-12-30 23:14 甲乙丙2333 阅读(335) 评论(0) 推荐(0)
seq2seq
摘要：【符号简介】 ———————————————————————— m——编码器的隐层神经元个数 n——输入序列词向量维度 p——解码器隐层神经元个数 q——输出序列词向量维度 v——词汇表大小 ———————————————————————— 【正文开始】 我们之前遇到的较为熟悉的序列问题，主要是利用 阅读全文
posted @ 2019-12-29 23:12 甲乙丙2333 阅读(686) 评论(0) 推荐(0)
Attention Is All You Need（Transformer）
摘要：一 ：self-Attention 二：位置编码 三：模型结构 四：优缺点 这篇论文中只使用了self-Attenion和Encoder-Decoder方式，没有采用传统的CNN与RNN 。用一句比较流行的话就是大道至简。作者的实验是通过搭建编码器和解码器各6层，总共12层的Encoder-Deco 阅读全文
posted @ 2019-12-29 21:33 甲乙丙2333 阅读(375) 评论(0) 推荐(0)