随笔分类 - 必先利其器
摘要：HMM隐马尔可夫，隐，说明模型里面含有隐含节点，是我们所无法直接观测到的，这些隐含节点上的状态可以称为隐含状态；马尔科夫，说明模型具有马尔科夫性，一个节点的状态只跟它的邻居有关，与其他节点无关，与时间也无关。我们把节点分为两类，状态节点（隐）和可观察节点（显）。并且假设状态节点为链式结构，每个输出（...
阅读全文
摘要：本文是我关于论文《Reasoning With Neural Tensor Networks for Knowledge Base Completion》的学习笔记。一、算法简介网络的结构为：$$g(e_1,R,e_2)=u^T_Rf(e_1^TW_R^{[1:k]}e_2+V_R\begin{bm...
阅读全文
摘要：如果用过js/jquery、groovy等语言，大概对这样的代码比较熟悉：[1,2,3].map(function(d){...}).grep(function(d){...}).join(',')这样的对集合的链式操作不仅书写方便，而且更方便阅读。在java8中使用集合流和lamda表达式也可以达...
阅读全文
摘要：接上篇。在(一)和(二)中，程序的体系是Net,Propagation,Trainer,Learner,DataProvider。这篇重构这个体系。Net首先是Net，在上篇重新定义了激活函数和误差函数后，内容大致是这样的：List weights = new ArrayList(); List b...
阅读全文
摘要：孔子曰，吾日三省吾身。我们如果跟程序打交道，除了一日三省吾身外，还要三日一省吾代码。看代码是否可以更简洁，更易懂，更容易扩展，更通用，算法是否可以再优化，结构是否可以再往上抽象。代码在不断的重构过程中，更臻化境。佝偻者承蜩如是，大匠铸剑亦复如是，艺虽小，其道一也。所谓苟日新，再日新，日日新。本次对前...
阅读全文
摘要：接上篇。Net和Propagation具备后，我们就可以训练了。训练师要做的事情就是，怎么把一大批样本分成小批训练，然后把小批的结果合并成完整的结果（批量/增量）；什么时候调用学习师根据训练的结果进行学习，然后改进网络的权重和状态；什么时候决定训练结束。那么这两位老师儿长的什么样子，又是怎么做到的呢...
阅读全文
摘要：根据前篇博文《神经网络之后向传播算法》，现在用java实现一个bp神经网络。矩阵运算采用jblas库，然后逐渐增加功能，支持并行计算，然后支持输入向量调整，最后支持L-BFGS学习算法。上帝说，要有神经网络，于是，便有了一个神经网络。上帝还说，神经网络要有节点，权重，激活函数，输出函数，目标函数，然...
阅读全文
摘要：本文介绍利用NiuTrans工具进行文白对译的步骤，默认用户已经安装NiuTrans,安装目录为NiuTrans/，以下相对路径基于此目录。文白对译模型训练步骤分为语料预处理、对齐、翻译模型训练、语言模型训练、参数调整四个阶段。一、语料预处理我们拿到的原始数据格式比较杂乱，需要做预处理，最终形成规则...
阅读全文
摘要：本文细述上文引出的RAECost和SoftmaxCost两个类。SoftmaxCost我们已经知道，SoftmaxCost类在给定features和label的情况下（超参数给定），衡量给定权重（$hidden\times catSize$）的误差值$cost$,并指出当前的权重梯度。看代码。@Ov...
阅读全文
摘要：jare用java实现了论文《Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions》中提出的算法——基于半监督的递归自动编码机，用来预测情感分类。详情可查看论文内容，代码git地址为：https:/...
阅读全文
摘要：本文结合维基百科http://en.wikipedia.org/wiki/Backpropagation的说明，对神经网络的后向传播算法做一个总结，并作简单的公式推导。典型的只含有1个隐层的3层神经网络的后向传播算法流程如下：initialize network weights (often sma...
阅读全文
摘要：这一章讲一下利用trie树对中文数字抽取的算法。trie树是一个非常有用的数据结构，可以应用于大部分文本信息抽取/转换之中，后续会开一个系列，对我在实践中摸索出来的各种抽取算法讲开来。比如中文时间抽取，地址抽取等。Trie树trie树又称为前缀树，索引树，字典树。用来对字符串进行索引，每个节点存储一...
阅读全文
摘要：牛顿法考虑如下无约束极小化问题：$$\min_{x} f(x)$$其中$x\in R^N$,并且假设$f(x)$为凸函数，二阶可微。当前点记为$x_k$,最优点记为$x^*$。梯度下降法用的是一阶偏导，牛顿法用二阶偏导。以标量为例，在当前点进行泰勒二阶展开：$$\varphi(x)=f(x_k)+f...
阅读全文
摘要：假设每个词对应一个词向量，假设：1)两个词的相似度正比于对应词向量的乘积。即：$sim(v_1,v_2)=v_1\cdot v_2$。即点乘原则；2)多个词$v_1\sim v_n$组成的一个上下文用$C$来表示，其中$C=\sum_{i=1}^{n}v_i$。$\frac{C}{|C|}$称作上下...
阅读全文
摘要：本文是在Niutrans论坛中的系列教程中总结出来的。1、语料预处理预处理的结果是生成双语分词之后的文件，该步需要注意的是对规则短语，比如数字、日期、网址等，进行泛化处理。可以用正则方法或者其它方法。注意日期中的点和外文人名中的点和网址中的点和句末标点要区分开来，数字和日期也要区分开来。其中变化比较...
阅读全文
摘要：本文是一边看代码一边写的，是真随笔，随看随下笔。看TNonblockingServer，先看其父类AbstractNonblockingServer。一般来说，父类封装的都是通用的东西，具体的底层实现方式交由子类来实现。因此抽象类一般会作为两层之间的交点所在，父类在上层，子类在下层。先看父类，再看子...
阅读全文
摘要：所谓行文如编程，随笔好比java文件，文章好比类，参考文献是import，那么目录就是方法定义。本篇文章处在分析thrift的nonblocking server之前，因为后者要依赖该篇文章的知识。若两文同一篇，那即是两类共享同一文件，其中有一个必为public，若一文在另一文中，即为内部类。按编程...
阅读全文
摘要：TThreadPoolServer直接继承自TServer，实现类serve和stop操作。在serve中可以接受多个连接，每个连接单独开一个线程进行处理，在每个线程中，按顺序处理该线程所绑定连接的请求，因此对同一个连接来说，是同步的。serve函数主要代码：while (!stopped_) { ...
阅读全文
摘要：神经网络编程入门http://www.cnblogs.com/heaad/archive/2011/03/07/1976443.htmlBP神经网络模型与学习算法http://www.cnblogs.com/wentingtu/archive/2012/06/05/2536425.htmlhttp:...
阅读全文
摘要：Deep Learning for Natural Language Processing (without Magic)http://nlp.stanford.edu/courses/NAACL2013/http://nlp.stanford.edu/projects/DeepLearningIn...
阅读全文
浙公网安备 33010602011771号