摘要：softmax是logisitic regression在多酚类问题上的推广，$W=[w_1,w_2,...,w_c]$为各个类的权重因子，$b$为各类的门槛值。不要想象成超平面，否则很难理解，如果理解成每个类的打分函数，则会直观许多。预测时我们把样本分配到得分最高的类。 Notations: $x 阅读全文

摘要：随时间反向传播 （BackPropagation Through Time，BPTT） 符号注解： $K$:词汇表的大小 $T$:句子的长度 $H$:隐藏层单元数 $E_t$:第t个时刻（第t个word）的损失函数,定义为交叉熵误差$E_t= y_t^Tlog(\hat{y}_t)$ $E$:一个句 阅读全文

摘要：前言 最近在用C++实现神经网络模型，优化算法需要用到矩阵操作，一开始我用的是boost的ublas库，但用着用着感觉很不习惯，接口不够友好。于是上网搜索矩阵运算哪家强，大神们都推荐 。一方面本着群众的眼光是雪亮的这一原则，另一方面也想尝尝鲜（听说和Matlab很类似，用着非常爽），就折腾了一下... 阅读全文