摘要：Evaluating a Language Model: Perplexity We have a serial of $m$ sentences: $$s_1,s_2,\cdots,s_m$$ We could look at the probability under our model $\p 阅读全文

摘要：Paper Reference: word2vec Parameter Learning Explained 1. One-word context Model In our setting, the vocabulary size is $V$, and the hidden layer size is $N$. The input $x$ is a one-hot representa... 阅读全文

摘要：1. A basic LSTM encoder-decoder. Encoder: X 是 input sentence. C 是encoder 产生的最后一次的hidden state, 记作 Context Vector. \[C=LSTM(X).\] Decoder: 每次的输出值就是下一次的输入值, 第一次的输入值就是 encoder 产生的 Context Vector. Enco... 阅读全文

摘要：转载 - Recurrent Neural Network Tutorial, Part 4 – Implementing a GRU/LSTM RNN with Python and Theano The code for this post is on Github. This is part 4, the last part of the Recurrent Neural Network T... 阅读全文

摘要：转载 - Recurrent Neural Networks Tutorial, Part 2 – Implementing a RNN with Python, Numpy and Theano 本文是RNN教程的第二部分，第一部分教程在这里. 对应的样板代码在 Github上面。 在这部分内容中 阅读全文

摘要：转载 - Recurrent Neural Networks Tutorial, Part 1 – Introduction to RNNs Recurrent Neural Networks (RNN) 是当前比较流行的模型，在自然语言处理中有很重要的应用。但是现在对RNN的详细结构模型以及如何实 阅读全文

摘要：原文转载：http://licstar.net/archives/328 Deep Learning 算法已经在图像和音频领域取得了惊人的成果，但是在 NLP 领域中尚未见到如此激动人心的结果。关于这个原因，引一条我比较赞同的微博。 @王威廉：Steve Renals算了一下icassp录取文章题目中包含deep learning的数量，发现有44篇，而naacl则有0篇。有一种说法是，语... 阅读全文