随笔分类 - ML
摘要：Back propagation in a nerual network with a Softmax classifier, which uses the Softmax function: $$\hat y_i=\frac{\exp(o_i)}{\sum_j \exp(o_j)}$$ This
阅读全文
摘要：Sigmoid Function $$ \sigma(z)=\frac{1}{1+e^{( z)}} $$ feature: 1. axial symmetry： $$ \sigma(z)+ \sigma( z)=1 $$ 2. gradient: $$ \frac{\partial\sigma(z
阅读全文
摘要：Linear neuron: $$y=b+\sum\limits_i{x_i w_i}$$ Binary threshold neuron: $$z = \sum\limits_i{x_i w_i}$$ $$y=\left\{\begin{aligned} 1,~~~~~~~z\gt \theta
阅读全文
摘要：Paper Reference: word2vec Parameter Learning Explained 1. One-word context Model In our setting, the vocabulary size is $V$, and the hidden layer size is $N$. The input $x$ is a one-hot representa...
阅读全文
摘要：1. A basic LSTM encoder-decoder. Encoder: X 是 input sentence. C 是encoder 产生的最后一次的hidden state, 记作 Context Vector. \[C=LSTM(X).\] Decoder: 每次的输出值就是下一次的输入值, 第一次的输入值就是 encoder 产生的 Context Vector. Enco...
阅读全文
摘要：转载 - Recurrent Neural Network Tutorial, Part 4 – Implementing a GRU/LSTM RNN with Python and Theano The code for this post is on Github. This is part 4, the last part of the Recurrent Neural Network T...
阅读全文
摘要：转载 - Recurrent Neural Networks Tutorial, Part 3 – Backpropagation Through Time and Vanishing Gradients 本文是 RNN入门教程 的第三部分. In the previous part of the
阅读全文
摘要：转载 - Recurrent Neural Networks Tutorial, Part 2 – Implementing a RNN with Python, Numpy and Theano 本文是RNN教程的第二部分，第一部分教程在这里. 对应的样板代码在 Github上面。 在这部分内容中
阅读全文
摘要：转载 - Recurrent Neural Networks Tutorial, Part 1 – Introduction to RNNs Recurrent Neural Networks (RNN) 是当前比较流行的模型，在自然语言处理中有很重要的应用。但是现在对RNN的详细结构模型以及如何实
阅读全文
摘要：首先 Error = Bias + Variance Error反映的是整个模型的准确度，Bias反映的是模型在样本上的输出与真实值之间的误差，即模型本身的精准度，Variance反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。 举一个例子，一次打靶实验，目标是为了打到10环，但是实际上只打到了7环，那么这里面的Error就是3。具体分析打到7环的原因，可能有两方面：一是瞄准出...
阅读全文
摘要：Mean Square Error \[cost(t,o)=\frac{1}{n}\sum\limits_{i=1}^n{(o-t)^2}\] Binary Cross-Entropy 用于计算 target 和 output 之间的binary 交叉熵。\[cost(t,o)=-{[t\ln(o)
阅读全文
浙公网安备 33010602011771号