甲乙丙2333

2019年12月31日

ELMo

摘要： o 阅读全文

posted @ 2019-12-31 08:05 甲乙丙2333 阅读(83) 评论(0) 推荐(0)

BERT

摘要： BERT 阅读全文

posted @ 2019-12-31 07:54 甲乙丙2333 阅读(85) 评论(0) 推荐(0)

ARNOR 远程关系监督抽取

摘要： ARNOR 阅读全文

posted @ 2019-12-31 07:51 甲乙丙2333 阅读(127) 评论(0) 推荐(0)

2019年12月30日

谷歌T5

摘要： Google 最新(19.10)提出的预训练模型T5(Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer) 最近放出了源代码及paper. 连续刷榜GLUE SuperGLUE两大benc 阅读全文

posted @ 2019-12-30 23:14 甲乙丙2333 阅读(335) 评论(0) 推荐(0)

2019年12月29日

seq2seq

摘要：【符号简介】 ———————————————————————— m——编码器的隐层神经元个数 n——输入序列词向量维度 p——解码器隐层神经元个数 q——输出序列词向量维度 v——词汇表大小 ———————————————————————— 【正文开始】我们之前遇到的较为熟悉的序列问题，主要是利用阅读全文

posted @ 2019-12-29 23:12 甲乙丙2333 阅读(689) 评论(0) 推荐(0)

Attention Is All You Need（Transformer）

摘要：一：self-Attention 二：位置编码三：模型结构四：优缺点这篇论文中只使用了self-Attenion和Encoder-Decoder方式，没有采用传统的CNN与RNN 。用一句比较流行的话就是大道至简。作者的实验是通过搭建编码器和解码器各6层，总共12层的Encoder-Deco 阅读全文

posted @ 2019-12-29 21:33 甲乙丙2333 阅读(375) 评论(0) 推荐(0)

attention的实现

摘要：实现阅读全文

posted @ 2019-12-29 19:23 甲乙丙2333 阅读(244) 评论(0) 推荐(0)

2019年12月25日

RNN

摘要：而RNN本质上就是linear layers。即使RNN的输入数据是batch first，内部也会转为seq_len first。 def forward(self, input, hx=None): batch_sizes = None # is not packed, batch_sizes 阅读全文

posted @ 2019-12-25 18:14 甲乙丙2333 阅读(621) 评论(0) 推荐(0)

2019年12月23日

test

摘要： test 阅读全文

posted @ 2019-12-23 20:56 甲乙丙2333 阅读(103) 评论(0) 推荐(0)

Embedding

摘要： Embedding 阅读全文

posted @ 2019-12-23 20:55 甲乙丙2333 阅读(107) 评论(0) 推荐(0)

公告