摘要:在港科大rnet(https://github.com/HKUST-KnowComp/R-Net) 实现的基础上做了复现 采用melt框架训练,原因是港科大实现在工程上不是很完美,包括固定了batch size,固定了context 长度为400,过滤了超过长度的context,每个batch长度都固定到400。 melt框架支持dynamic batch size, dynamic batch ... 阅读全文
posted @ 2018-05-29 10:44 阁子 阅读 (1362) 评论 (0) 编辑
摘要:参加了今年的ai challenger 的image caption比赛,最终很幸运的获得了第二名。这里小结一下。 最佳的caption利器当属微软的 Bottom-Up and Top-Down Attention for Image Captioning and Visual Question 阅读全文
posted @ 2017-12-23 15:48 阁子 阅读 (2902) 评论 (1) 编辑
摘要: 阅读全文
posted @ 2017-09-06 08:18 阁子 阅读 (499) 评论 (0) 编辑
摘要:论文提出了input的顺序影响seq2seq结果 有一些输入本身是无序的怎么去处理呢 作者提出LSTM controller的方式 替代输入的LSTM encode方式 作者实验这种方式对应无序浮点数序列排序效果好于直接seq2seq N是要排序的数的数目 P = 10 steps 表示 LSTM contorller process 10次 glimpses... 阅读全文
posted @ 2017-07-31 10:54 阁子 阅读 (478) 评论 (0) 编辑
摘要:pointer-network是最近seq2seq比较火的一个分支,在基于深度学习的阅读理解,摘要系统中都被广泛应用。 感兴趣的可以阅读原paper 推荐阅读 https://medium.com/@devnag/pointer-networks-in-tensorflow-with-sample-code-14645063f264 这个思路也是比较简单 就是解码的预... 阅读全文
posted @ 2017-06-07 22:43 阁子 阅读 (3476) 评论 (4) 编辑
摘要:目前实现了基于tensorflow的支持的带attention的seq2seq。基于tf 1.0官网contrib路径下seq2seq 由于后续版本不再支持attention,迁移到melt并做了进一步开发,支持完全ingraph的beam search(更快速) 以及outgraph的交互式bea 阅读全文
posted @ 2017-03-18 20:59 阁子 阅读 (4563) 评论 (1) 编辑
摘要:You can get complete example code from https://github.com/chenghuige/hasky/tree/master/applications Including The main realated code: melt.tfrecords/l 阅读全文
posted @ 2017-02-26 13:19 阁子 阅读 (438) 评论 (0) 编辑
摘要:新代码在contrib\seq2seq\python\ops\attention_decoder_fn.py 和之前代码相比 不再采用conv的方式来计算乘,直接使用乘法和linear 给出了两种attention的实现 传统的"bahdanau": additive (Bahdanau et al 阅读全文
posted @ 2017-01-31 22:41 阁子 阅读 (2178) 评论 (1) 编辑
摘要:v1.0中 tensorflow渐渐废弃了老的非dynamic的seq2seq接口,已经放到 tf.contrib.legacy_seq2seq目录下面。 tf.contrib.seq2seq下面的实现都是dynamic seq2seq接口。 按照google的rd说法下个月将会给出更加完善的接口和实现。 当前版本也可以使用这里尝试分析一下现有dynamic seq2seq的代码。 首先核心... 阅读全文
posted @ 2017-01-25 05:38 阁子 阅读 (3387) 评论 (0) 编辑
摘要:tensorflow基于 Grammar as a Foreign Language实现,这篇论文给出的公式也比较清楚。 这里关注seq2seq.attention_decode函数, 主要输入 decoder_inputs, initial_state, attention_states, 这里可以主要参考 models/textsum的应用,textsum采用的多层双向... 阅读全文
posted @ 2017-01-08 10:00 阁子 阅读 (10082) 评论 (1) 编辑