摘要：[toc] 遗传 选择，交叉，变异 模拟退火 假设前一个状态为$x(n)$，系统根据某一规则（比如梯度下降）使状态变为$x(n+1)$时，系统的能量（通过损失函数算得）由$E(n)$变为E(n+1)，定义由$x(n)$到$x(n+1)$的状态转化的接受概率为： $P=\left\{\begin{ma 阅读全文

摘要：[toc] Statistical Language Model NLP中有一个基本问题： 如何计算一段文本序列在某种语言下出现的概率？ 这个问题在很多NLP任务中都扮演着重要的角色。统计语言模型给出了这一类问题的一个基本解决框架。对于一段文本序列： $S=w_1,w_2,...,w_T$ 它符合某 阅读全文

摘要：[toc] LSTM ![LSTM结构示意][1] LSTM有两个传输状态，一个 $c^t$（cell state），和一个 $h^t$（hidden state） $c^t$保存模型的长期记忆，在训练过程中改变的速度较慢， 而$h^t$在训练过程中变化的速度则比较快。 计算过程 首先使用LSTM的 阅读全文