五色光

摘要： 根据前篇博文《神经网络之后向传播算法》，现在用java实现一个bp神经网络。矩阵运算采用jblas库，然后逐渐增加功能，支持并行计算，然后支持输入向量调整，最后支持L-BFGS学习算法。上帝说，要有神经网络，于是，便有了一个神经网络。上帝还说，神经网络要有节点，权重，激活函数，输出函数，目标函数，然... 阅读全文

摘要： 本文介绍利用NiuTrans工具进行文白对译的步骤，默认用户已经安装NiuTrans,安装目录为NiuTrans/，以下相对路径基于此目录。文白对译模型训练步骤分为语料预处理、对齐、翻译模型训练、语言模型训练、参数调整四个阶段。一、语料预处理我们拿到的原始数据格式比较杂乱，需要做预处理，最终形成规则... 阅读全文

摘要： 本文细述上文引出的RAECost和SoftmaxCost两个类。SoftmaxCost我们已经知道，SoftmaxCost类在给定features和label的情况下（超参数给定），衡量给定权重（$hidden\times catSize$）的误差值$cost$,并指出当前的权重梯度。看代码。@Ov... 阅读全文

摘要： jare用java实现了论文《Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions》中提出的算法——基于半监督的递归自动编码机，用来预测情感分类。详情可查看论文内容，代码git地址为：https:/... 阅读全文

摘要： 本文结合维基百科http://en.wikipedia.org/wiki/Backpropagation的说明，对神经网络的后向传播算法做一个总结，并作简单的公式推导。典型的只含有1个隐层的3层神经网络的后向传播算法流程如下：initialize network weights (often sma... 阅读全文

摘要： 这一章讲一下利用trie树对中文数字抽取的算法。trie树是一个非常有用的数据结构，可以应用于大部分文本信息抽取/转换之中，后续会开一个系列，对我在实践中摸索出来的各种抽取算法讲开来。比如中文时间抽取，地址抽取等。Trie树trie树又称为前缀树，索引树，字典树。用来对字符串进行索引，每个节点存储一... 阅读全文

摘要： 牛顿法考虑如下无约束极小化问题：$$\min_{x} f(x)$$其中$x\in R^N$,并且假设$f(x)$为凸函数，二阶可微。当前点记为$x_k$,最优点记为$x^*$。梯度下降法用的是一阶偏导，牛顿法用二阶偏导。以标量为例，在当前点进行泰勒二阶展开：$$\varphi(x)=f(x_k)+f... 阅读全文

摘要： 假设每个词对应一个词向量，假设：1)两个词的相似度正比于对应词向量的乘积。即：$sim(v_1,v_2)=v_1\cdot v_2$。即点乘原则；2)多个词$v_1\sim v_n$组成的一个上下文用$C$来表示，其中$C=\sum_{i=1}^{n}v_i$。$\frac{C}{|C|}$称作上下... 阅读全文

摘要： 本文是在Niutrans论坛中的系列教程中总结出来的。1、语料预处理预处理的结果是生成双语分词之后的文件，该步需要注意的是对规则短语，比如数字、日期、网址等，进行泛化处理。可以用正则方法或者其它方法。注意日期中的点和外文人名中的点和网址中的点和句末标点要区分开来，数字和日期也要区分开来。其中变化比较... 阅读全文

摘要： 本文是一边看代码一边写的，是真随笔，随看随下笔。看TNonblockingServer，先看其父类AbstractNonblockingServer。一般来说，父类封装的都是通用的东西，具体的底层实现方式交由子类来实现。因此抽象类一般会作为两层之间的交点所在，父类在上层，子类在下层。先看父类，再看子... 阅读全文