demsg

摘要：如题 阅读全文

摘要：从图上可以看出来，decode的过程其实都是从encode的最后一个隐层开始的，如果encode输入过长的话，会丢失很多信息，所以设计了attation机制。 attation机制的decode的过程和原来的最大的区别就是，它输出的不只是基于本时刻的h，而是基于本时刻的h和C的concat矩阵。 那 阅读全文

摘要：rnn的的公式很简单： 对于每个时刻，输入上一个时刻的隐层s和这个时刻的文本x，然后输出这个时刻的隐层s。对于输出的隐层s 做个ws+b就是这个时刻的输出y。 rnn的实现： lstm只是网络结构上个对rnn进行改进，它同时增加一个单元叫做state状态，每个lstm有个hidden和一个state 阅读全文

摘要：上文提到了pytorch里的world language model，那么怎么能不说tensorflow的实现呢，还是以tensorflow ptb的代码为例说说。 地址： https://github.com/tensorflow/models/tree/master/tutorials/rnn/ 阅读全文

摘要：假如说，你再处理文本的时候，写tfrecord的时候用的变长的类型， example = tf.train.Example(features=tf.train.Features(feature={ 'feats': _int64_feature(query_feats) })) 那么读的时候会用到 阅读全文

摘要：1， softmax_cross_entropy_with_logits 的中的logits=x*w+b，其中w应该是[nfeats,nclass],b是[nclass]是对输出的每个类上logits的修正？。 label 应该是[nsamples,nclass]（用np.concatenate([ 阅读全文