摘要：
AR语言模型(AutoRegressive LM)：只能获取单向信息，即只能前向读取信息并预测t位置的单词或者从后向读取信息并预测t位置的单词，却不能同时获取双向信息，代表例子是GPT，GPT2，XLNet，ELMO AR LM的优点：比较擅长生成类任务 缺点：只能获取单向信息，不能获取双向信息。 阅读全文
posted @ 2020-03-01 22:59
justDoIT&
阅读(1824)
评论(1)
推荐(0)
摘要：
关于Transformer的具体内容，可以访问：https://www.cnblogs.com/mj selina/p/12369797.html 简介 Transformer是Google Brain2017年提出的一种模型，它的编码能力超越了RNN，但是对于长距离依赖的建模能力依然不足。为解决长 阅读全文
posted @ 2020-02-27 18:40
justDoIT&
阅读(1132)
评论(0)
推荐(0)
摘要：
简介[2] Attention Is All You Need是2017年google提出来的一篇论文，论文里提出了一个新的模型，叫Transformer，这个结构广泛应用于NLP各大领域，是目前比较流行的模型。该模型没有选择大热的RNN/LSTM/GRU的结构，而是只使用attention lay 阅读全文
posted @ 2020-02-26 23:05
justDoIT&
阅读(3937)
评论(0)
推荐(0)
摘要：
过程：输入->检索->编码->解码 解释：检索：输入一句话x，首先从PPDB中检索出M * 10 个释义对，并排序，记为x的本地字典； 编码：将所有的释义对编码为向量,单字转为字向量,多字将 每个字向量加和;论文认为会得到2×M个向量 解码过程： 首先，使用BiRNN的输出作为x的表征，并用stan 阅读全文
posted @ 2019-07-08 20:54
justDoIT&
阅读(509)
评论(0)
推荐(0)
摘要：
根据关键字生成句子： 读进关键字，随机选择处理手段（增删改）以及待处理word的位置，然后计算接受/拒绝概率，根据概率生成一个新的序列，再循环这一过程，循环次数是500，每次都将困惑度最低的生成句子放在列表中第一个位置，最后根据config设置的最短长度（如7），当列表中的一个句子长度大于7时，则将 阅读全文
posted @ 2019-07-08 20:40
justDoIT&
阅读(986)
评论(0)
推荐(0)
摘要：
多头自注意力token解码器，该解码器能够对过去和未来的信息进行condition处理，适合填充任务；自注意力机制尤其适合填充文本，因为它可以为每个空白处从左到右及从右到左双向建模，为全部语义进行有效编码。 论文提出的模型：在空白处顺序生成token的一个简单的单例自注意网络，每次在空白处生成一个t 阅读全文
posted @ 2019-07-08 20:29
justDoIT&
阅读(510)
评论(0)
推荐(0)
摘要：
1.该算法核心:在seq2seq模型的编码器中增加语义的frame 和 roles 2.上图为算法整个流程： 1).首先输入一句话s，SLING会使用frame和role label注释输入语句s，然后将这些label转换成token，因此会有三个对齐向量：tokens,frames,roles；（ 阅读全文
posted @ 2019-07-08 20:27
justDoIT&
阅读(370)
评论(0)
推荐(0)
摘要：
注：代码是网上下载的，但是找不到原始出处了，侵权则删 先写出visual类： tf1.x: class TF_visualizer(object): def __init__(self, dimension, vecs_file, metadata_file, output_path): self. 阅读全文
posted @ 2019-07-08 20:24
justDoIT&
阅读(1128)
评论(0)
推荐(0)
摘要：
转载自拼装小火车 - 博客园 http://www.cnblogs.com/summerRQ/articles/2406109.html 阅读全文
posted @ 2016-09-06 21:18
justDoIT&
阅读(110)
评论(0)
推荐(0)
摘要：
题目描述 输入两个单调递增的链表，输出两个链表合成后的链表，当然我们需要合成后的链表满足单调不减规则。 解决办法 1、递归方法： 2、非递归方法： 本解法困扰了我很久，因为开始时我只设置了一个pMerge指针，而没有设置pRet指针，结果运行后发现，如果是两个等长的序列，那么函数返回的结果只有两个序 阅读全文
posted @ 2016-08-27 21:12
justDoIT&
阅读(202)
评论(0)
推荐(0)
浙公网安备 33010602011771号