04 2017 档案

摘要：word2vec 引入 一篇文章、一段话、一个句子是由一个个单词按照某个顺序组合而成。在自然语言处理的过程中不可避免地要考虑如何用计算机来表示一个词。 一种方法是One hot Representation，即先将所有的词创建一个词库，并将每个词编号，然后词就用一个向量来表示，向量的长度与词库的大小 阅读全文

摘要：输出为： [ 0.74532765 1.91889453] [ 0.35587442 0.8001433 ] 可以看到两次调用实际上是生成了两组变量。 在需要共享之前变量的时候可以使用get_variable()和 variable_scope() 来管理变量名和作用域。 运行上面代码会抛出Valu 阅读全文

摘要：windows服务器上安装Filezilla server后，本地客户端连接不上。解决办法：在防火墙把filezilla的　Filazilla server interface.exe　和Filezilla server.exe　二个文件都加入防火墙的例外。 参考： http://www.cnblo 阅读全文

摘要：用tensorflow搭建RNN(LSTM)进行MNIST 手写数字辨识 循环神经网络RNN相比传统的神经网络在处理序列化数据时更有优势，因为RNN能够将加入上（下）文信息进行考虑。一个简单的RNN如下图所示： 将这个循环展开得到下图： 上一时刻的状态会传递到下一时刻。这种链式特性决定了RNN能够很 阅读全文

摘要：神经网络的反向传播 对于下面的神经网络，输入为$x_1$，$x_2$，$x_3$，输出为$y_1$，$y_2$，$y_3$，激活函数$f$为逻辑斯蒂函数即$f=\frac{1}{1+e^{ z}}$，如何用梯度下降法求解呢？ 首先定义这里的损失函数：$L(\theta)=\frac{1}{2}\su 阅读全文

摘要：目标是学习$y=2x+3$ 建立一个5层的神经网络，用平方误差作为损失函数。 代码如下： 结果： 可以看出在训练集上loss不断减小，最后下降到0.00354737，而在测试集上loss也在0.003左右。 由于参数是随机设置的，有时候可能陷入局部最优中，多运行几次可以减少陷入局部最优的概率。 将优 阅读全文