demsg

摘要： attention_mechanism = tf.contrib.seq2seq.BahdanauAttention(num_units=FLAGS.rnn_hidden_size, memory = encoder_outputs, memory_sequence_length = encoder 阅读全文

摘要： multi lstm attention时序之间，inputs维度是1024，加上attention之后维度是2018，输出1024，时序之间下次再转成2048的inputs 但是如果使用multi lstm的话inputs维度是1024，加上attention之后维度是2018，输出1024，这个 阅读全文

摘要： 1，固定leanring rate batch size设成256，512，1024，训练结果eval结果差不多 2，固定batch_size， learning rate设成0.1，0.01，0.001，0.0001 紫色是0.1，基本不收敛。绿色是0.01，trainloss好奇怪，不过eval 阅读全文

摘要： learn2rank目前基本两个分支，1是神经网络学派ranknet，lamdarank，另一个是决策树学派如gbrank,lamdamart 05年提出ranknet，算分模块是简单的全连接网络，loss函数是预测概率之家的pair-wise关系和真实lablel的pair-wise关系的逻辑回归 阅读全文

摘要： 最近在写gan，那么就牵扯到在一个session中加载两个图，restore的时候会有问题。如这篇文章写的（http://blog.csdn.net/u014659656/article/details/53954793），见文末 所以关键就是构造的Saver 最好带Variable参数，这样加载第 阅读全文

摘要： ckpt = tf.train.get_checkpoint_state(FLAGS.model) if ckpt: saver.restore(sess, tf.train.latest_checkpoint(FLAGS.model)) else: sess.run(init) 我原来的代码是这样 阅读全文

摘要： tensorflow保存模型后，restore的时候报参数not found是什么原因呢 一般预测的流程是：建图然后restore参数，很有可能你的变量作用域和train的时候不一样，那么在现在的变量域很可能找不到变量。 总而言之就是，保证和建图的变量域是一致的，再restore 如何查看原来的变量 阅读全文

摘要： 最近读code的一个感想，记录一下 ptb只有decode的过程，所以所有的状态的初始化都是0，同样img2txt也是只有decode的过程 textsum是个标准的encode和decode模型，同样imgtxt2txt也是encode和decode的结合 dynamic rnn的可以使每个bat 阅读全文

摘要： 如题 阅读全文

摘要： 从图上可以看出来，decode的过程其实都是从encode的最后一个隐层开始的，如果encode输入过长的话，会丢失很多信息，所以设计了attation机制。 attation机制的decode的过程和原来的最大的区别就是，它输出的不只是基于本时刻的h，而是基于本时刻的h和C的concat矩阵。 那 阅读全文