2018年5月21日

摘要： 一、结构 由于输入与输出长度很多时候是不等长的，先回顾一下Seq2Seq的结构 这种结构在负担集中在c身上，在句子较长时比较不好。例如在机器翻译中，考虑到每个输出的词，都跟所有输入的词有关，但有的关系大，有的关系小，于是有下面的结构： 合起来的总结构就是： 二、为什么不直接对输入x使用attenti 阅读全文

摘要： 一、背景 序列问题经常存在输入与输出个数不同的问题，例如在机器翻译里面，一句话的汉语词数和英语词数并不是相同的 二、结构 将存储了整个输入序列信息的最后h，去决定输出序列中的每个元素。 相当于将输入序列先编码为最后的h，再解码为输出序列 由于这种Encoder-Decoder结构不限制输入和输出的序 阅读全文

摘要： 一、单层网络 单层网络就是输入一个x，经过神经元的变换，输出一个y 二、RNN 有很多种序列输入的数据，如： 自然语言处理问题。x1可以看做是第一个单词，x2可以看做是第二个单词，依次类推。 语音处理。此时，x1、x2、x3……是每帧的声音信号。 时间序列问题。例如每天的股票价格等 序列形的数据就不 阅读全文

摘要： 一、序列标注问题通用概率图结构 如图，对于序列标注问题，第一行的节点是标注标签，第二行是词。 例如“我 爱 美丽的 四川 九寨沟” 第一行节点分别是：代词、动词、形容词、名词、名词 第二行节点分别是：我、爱、美丽的、四川、九寨沟 所以模型的假设是：句子中，相邻词的词性是有逻辑关系的，每个词的词性和词 阅读全文