摘要：
在港科大rnet（https://github.com/HKUST-KnowComp/R-Net) 实现的基础上做了复现 采用melt框架训练，原因是港科大实现在工程上不是很完美，包括固定了batch size，固定了context 长度为400，过滤了超过长度的context，每个batch长度都固定到400。 melt框架支持dynamic batch size， dynamic batch ... 阅读全文
摘要：
参加了今年的ai challenger 的image caption比赛，最终很幸运的获得了第二名。这里小结一下。 最佳的caption利器当属微软的 Bottom-Up and Top-Down Attention for Image Captioning and Visual Question 阅读全文
摘要：
论文提出了input的顺序影响seq2seq结果 有一些输入本身是无序的怎么去处理呢 作者提出LSTM controller的方式 替代输入的LSTM encode方式 作者实验这种方式对应无序浮点数序列排序效果好于直接seq2seq N是要排序的数的数目 P = 10 steps 表示 LSTM contorller process 10次 glimpses... 阅读全文
摘要：
pointer-network是最近seq2seq比较火的一个分支，在基于深度学习的阅读理解，摘要系统中都被广泛应用。 感兴趣的可以阅读原paper 推荐阅读 https://medium.com/@devnag/pointer-networks-in-tensorflow-with-sample-code-14645063f264 这个思路也是比较简单 就是解码的预... 阅读全文
摘要：
目前实现了基于tensorflow的支持的带attention的seq2seq。基于tf 1.0官网contrib路径下seq2seq 由于后续版本不再支持attention，迁移到melt并做了进一步开发，支持完全ingraph的beam search(更快速) 以及outgraph的交互式bea 阅读全文
摘要：
You can get complete example code from https://github.com/chenghuige/hasky/tree/master/applications Including The main realated code: melt.tfrecords/l 阅读全文
摘要：
新代码在contrib\seq2seq\python\ops\attention_decoder_fn.py 和之前代码相比 不再采用conv的方式来计算乘，直接使用乘法和linear 给出了两种attention的实现 传统的"bahdanau": additive (Bahdanau et al 阅读全文
摘要：
v1.0中 tensorflow渐渐废弃了老的非dynamic的seq2seq接口，已经放到 tf.contrib.legacy_seq2seq目录下面。 tf.contrib.seq2seq下面的实现都是dynamic seq2seq接口。 按照google的rd说法下个月将会给出更加完善的接口和实现。 当前版本也可以使用这里尝试分析一下现有dynamic seq2seq的代码。 首先核心... 阅读全文
摘要：
tensorflow基于 Grammar as a Foreign Language实现，这篇论文给出的公式也比较清楚。 这里关注seq2seq.attention_decode函数， 主要输入 decoder_inputs, initial_state, attention_states, 这里可以主要参考 models/textsum的应用，textsum采用的多层双向... 阅读全文