博客园 - 五色光
uuid:24b78886-0ed1-41c2-8670-e3f31dcf42c4;id=141064
2023-12-20T04:00:00Z
五色光
https://www.cnblogs.com/wuseguang/
feed.cnblogs.com
https://www.cnblogs.com/wuseguang/p/4308142.html
vim备注 - 五色光
① 用户path生效在~/.bashrc中修改path,在~/.profile中source bashrc② secureCRT着色方案底色RGB:43 43 43前景色RGB:221 221 221字体:Consolas在仿真中终端选择xterm。然后勾上ANSI颜色和使用着色方案。目录颜色跟底色...
2015-03-02T02:30:00Z
2015-03-02T02:30:00Z
五色光
https://www.cnblogs.com/wuseguang/
【摘要】① 用户path生效在~/.bashrc中修改path,在~/.profile中source bashrc② secureCRT着色方案底色RGB:43 43 43前景色RGB:221 221 221字体:Consolas在仿真中终端选择xterm。然后勾上ANSI颜色和使用着色方案。目录颜色跟底色... <a href="https://www.cnblogs.com/wuseguang/p/4308142.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wuseguang/p/4293587.html
新年快乐! - 五色光
新年快乐!恭喜发财!大吉大利!
2015-02-15T15:33:00Z
2015-02-15T15:33:00Z
五色光
https://www.cnblogs.com/wuseguang/
【摘要】新年快乐!恭喜发财!大吉大利! <a href="https://www.cnblogs.com/wuseguang/p/4293587.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wuseguang/p/4214849.html
统计学习总结 - 五色光
HMM隐马尔可夫,隐,说明模型里面含有隐含节点,是我们所无法直接观测到的,这些隐含节点上的状态可以称为隐含状态;马尔科夫,说明模型具有马尔科夫性,一个节点的状态只跟它的邻居有关,与其他节点无关,与时间也无关。我们把节点分为两类,状态节点(隐)和可观察节点(显)。并且假设状态节点为链式结构,每个输出(...
2015-01-12T01:51:00Z
2015-01-12T01:51:00Z
五色光
https://www.cnblogs.com/wuseguang/
【摘要】HMM隐马尔可夫,隐,说明模型里面含有隐含节点,是我们所无法直接观测到的,这些隐含节点上的状态可以称为隐含状态;马尔科夫,说明模型具有马尔科夫性,一个节点的状态只跟它的邻居有关,与其他节点无关,与时间也无关。我们把节点分为两类,状态节点(隐)和可观察节点(显)。并且假设状态节点为链式结构,每个输出(... <a href="https://www.cnblogs.com/wuseguang/p/4214849.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wuseguang/p/4181842.html
二次插值 - 五色光
对于一个二次函数$f(x)=Ax^2+Bx+C$,已知$x_0,y_0,x_1,y_1,y_1'$,求极值点$x^*$。已知$$\begin{cases} Ax^2_0+Bx_0+C=y_0 \\ Ax^2_1+Bx_1+C=y_1 \\ 2Ax_1+B=y_1' \\ \end{cases}$$求...
2014-12-24T02:46:00Z
2014-12-24T02:46:00Z
五色光
https://www.cnblogs.com/wuseguang/
【摘要】对于一个二次函数$f(x)=Ax^2+Bx+C$,已知$x_0,y_0,x_1,y_1,y_1'$,求极值点$x^*$。已知$$\begin{cases} Ax^2_0+Bx_0+C=y_0 \\ Ax^2_1+Bx_1+C=y_1 \\ 2Ax_1+B=y_1' \\ \end{cases}$$求... <a href="https://www.cnblogs.com/wuseguang/p/4181842.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wuseguang/p/4175205.html
受限玻尔兹曼机(RBM) - 五色光
能量模型RBM用到了能量模型。简单的概括一下能量模型。假设一个孤立系统(总能量$E$一定,粒子个数$N$一定),温度恒定为1,每个粒子有$m$个可能的状态,每个状态对应一个能量$e_i$。那么,在这个系统中随机选出一个粒子,这个粒子处在状态$k$的概率,或者说具有状态$k$的粒子所占的比例为:$$p...
2014-12-21T03:32:00Z
2014-12-21T03:32:00Z
五色光
https://www.cnblogs.com/wuseguang/
【摘要】能量模型RBM用到了能量模型。简单的概括一下能量模型。假设一个孤立系统(总能量$E$一定,粒子个数$N$一定),温度恒定为1,每个粒子有$m$个可能的状态,每个状态对应一个能量$e_i$。那么,在这个系统中随机选出一个粒子,这个粒子处在状态$k$的概率,或者说具有状态$k$的粒子所占的比例为:$$p... <a href="https://www.cnblogs.com/wuseguang/p/4175205.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wuseguang/p/4168963.html
Tensor神经网络进行知识库推理 - 五色光
本文是我关于论文《Reasoning With Neural Tensor Networks for Knowledge Base Completion》的学习笔记。一、算法简介网络的结构为:$$g(e_1,R,e_2)=u^T_Rf(e_1^TW_R^{[1:k]}e_2+V_R\begin{bm...
2014-12-17T07:29:00Z
2014-12-17T07:29:00Z
五色光
https://www.cnblogs.com/wuseguang/
【摘要】本文是我关于论文《Reasoning With Neural Tensor Networks for Knowledge Base Completion》的学习笔记。一、算法简介网络的结构为:$$g(e_1,R,e_2)=u^T_Rf(e_1^TW_R^{[1:k]}e_2+V_R\begin{bm... <a href="https://www.cnblogs.com/wuseguang/p/4168963.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wuseguang/p/4142946.html
java集合之链式操作 - 五色光
如果用过js/jquery、groovy等语言,大概对这样的代码比较熟悉:[1,2,3].map(function(d){...}).grep(function(d){...}).join(',')这样的对集合的链式操作不仅书写方便,而且更方便阅读。在java8中使用集合流和lamda表达式也可以达...
2014-12-04T07:15:00Z
2014-12-04T07:15:00Z
五色光
https://www.cnblogs.com/wuseguang/
【摘要】如果用过js/jquery、groovy等语言,大概对这样的代码比较熟悉:[1,2,3].map(function(d){...}).grep(function(d){...}).join(',')这样的对集合的链式操作不仅书写方便,而且更方便阅读。在java8中使用集合流和lamda表达式也可以达... <a href="https://www.cnblogs.com/wuseguang/p/4142946.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wuseguang/p/4140408.html
用java写bp神经网络(四) - 五色光
接上篇。在(一)和(二)中,程序的体系是Net,Propagation,Trainer,Learner,DataProvider。这篇重构这个体系。Net首先是Net,在上篇重新定义了激活函数和误差函数后,内容大致是这样的:List weights = new ArrayList(); List b...
2014-12-04T00:40:00Z
2014-12-04T00:40:00Z
五色光
https://www.cnblogs.com/wuseguang/
【摘要】接上篇。在(一)和(二)中,程序的体系是Net,Propagation,Trainer,Learner,DataProvider。这篇重构这个体系。Net首先是Net,在上篇重新定义了激活函数和误差函数后,内容大致是这样的:List weights = new ArrayList(); List b... <a href="https://www.cnblogs.com/wuseguang/p/4140408.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wuseguang/p/4140218.html
用java写bp神经网络(三) - 五色光
孔子曰,吾日三省吾身。我们如果跟程序打交道,除了一日三省吾身外,还要三日一省吾代码。看代码是否可以更简洁,更易懂,更容易扩展,更通用,算法是否可以再优化,结构是否可以再往上抽象。代码在不断的重构过程中,更臻化境。佝偻者承蜩如是,大匠铸剑亦复如是,艺虽小,其道一也。所谓苟日新,再日新,日日新。本次对前...
2014-12-03T07:31:00Z
2014-12-03T07:31:00Z
五色光
https://www.cnblogs.com/wuseguang/
【摘要】孔子曰,吾日三省吾身。我们如果跟程序打交道,除了一日三省吾身外,还要三日一省吾代码。看代码是否可以更简洁,更易懂,更容易扩展,更通用,算法是否可以再优化,结构是否可以再往上抽象。代码在不断的重构过程中,更臻化境。佝偻者承蜩如是,大匠铸剑亦复如是,艺虽小,其道一也。所谓苟日新,再日新,日日新。本次对前... <a href="https://www.cnblogs.com/wuseguang/p/4140218.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wuseguang/p/4126226.html
用java写bp神经网络(二) - 五色光
接上篇。Net和Propagation具备后,我们就可以训练了。训练师要做的事情就是,怎么把一大批样本分成小批训练,然后把小批的结果合并成完整的结果(批量/增量);什么时候调用学习师根据训练的结果进行学习,然后改进网络的权重和状态;什么时候决定训练结束。那么这两位老师儿长的什么样子,又是怎么做到的呢...
2014-11-27T06:05:00Z
2014-11-27T06:05:00Z
五色光
https://www.cnblogs.com/wuseguang/
【摘要】接上篇。Net和Propagation具备后,我们就可以训练了。训练师要做的事情就是,怎么把一大批样本分成小批训练,然后把小批的结果合并成完整的结果(批量/增量);什么时候调用学习师根据训练的结果进行学习,然后改进网络的权重和状态;什么时候决定训练结束。那么这两位老师儿长的什么样子,又是怎么做到的呢... <a href="https://www.cnblogs.com/wuseguang/p/4126226.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wuseguang/p/4124849.html
用java写bp神经网络(一) - 五色光
根据前篇博文《神经网络之后向传播算法》,现在用java实现一个bp神经网络。矩阵运算采用jblas库,然后逐渐增加功能,支持并行计算,然后支持输入向量调整,最后支持L-BFGS学习算法。上帝说,要有神经网络,于是,便有了一个神经网络。上帝还说,神经网络要有节点,权重,激活函数,输出函数,目标函数,然...
2014-11-26T12:29:00Z
2014-11-26T12:29:00Z
五色光
https://www.cnblogs.com/wuseguang/
【摘要】根据前篇博文《神经网络之后向传播算法》,现在用java实现一个bp神经网络。矩阵运算采用jblas库,然后逐渐增加功能,支持并行计算,然后支持输入向量调整,最后支持L-BFGS学习算法。上帝说,要有神经网络,于是,便有了一个神经网络。上帝还说,神经网络要有节点,权重,激活函数,输出函数,目标函数,然... <a href="https://www.cnblogs.com/wuseguang/p/4124849.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wuseguang/p/3980631.html
基于统计机器翻译的文白对译 - 五色光
本文介绍利用NiuTrans工具进行文白对译的步骤,默认用户已经安装NiuTrans,安装目录为NiuTrans/,以下相对路径基于此目录。文白对译模型训练步骤分为语料预处理、对齐、翻译模型训练、语言模型训练、参数调整四个阶段。一、语料预处理我们拿到的原始数据格式比较杂乱,需要做预处理,最终形成规则...
2014-11-20T12:29:00Z
2014-11-20T12:29:00Z
五色光
https://www.cnblogs.com/wuseguang/
【摘要】本文介绍利用NiuTrans工具进行文白对译的步骤,默认用户已经安装NiuTrans,安装目录为NiuTrans/,以下相对路径基于此目录。文白对译模型训练步骤分为语料预处理、对齐、翻译模型训练、语言模型训练、参数调整四个阶段。一、语料预处理我们拿到的原始数据格式比较杂乱,需要做预处理,最终形成规则... <a href="https://www.cnblogs.com/wuseguang/p/3980631.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wuseguang/p/4110351.html
jrae源码解析(二) - 五色光
本文细述上文引出的RAECost和SoftmaxCost两个类。SoftmaxCost我们已经知道,SoftmaxCost类在给定features和label的情况下(超参数给定),衡量给定权重($hidden\times catSize$)的误差值$cost$,并指出当前的权重梯度。看代码。@Ov...
2014-11-20T08:56:00Z
2014-11-20T08:56:00Z
五色光
https://www.cnblogs.com/wuseguang/
【摘要】本文细述上文引出的RAECost和SoftmaxCost两个类。SoftmaxCost我们已经知道,SoftmaxCost类在给定features和label的情况下(超参数给定),衡量给定权重($hidden\times catSize$)的误差值$cost$,并指出当前的权重梯度。看代码。@Ov... <a href="https://www.cnblogs.com/wuseguang/p/4110351.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wuseguang/p/4106689.html
jrae源码解析(一) - 五色光
jare用java实现了论文《Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions》中提出的算法——基于半监督的递归自动编码机,用来预测情感分类。详情可查看论文内容,代码git地址为:https:/...
2014-11-19T09:01:00Z
2014-11-19T09:01:00Z
五色光
https://www.cnblogs.com/wuseguang/
【摘要】jare用java实现了论文《Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions》中提出的算法——基于半监督的递归自动编码机,用来预测情感分类。详情可查看论文内容,代码git地址为:https:/... <a href="https://www.cnblogs.com/wuseguang/p/4106689.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wuseguang/p/aabbcc.html
神经网络之后向传播算法 - 五色光
本文结合维基百科http://en.wikipedia.org/wiki/Backpropagation的说明,对神经网络的后向传播算法做一个总结,并作简单的公式推导。典型的只含有1个隐层的3层神经网络的后向传播算法流程如下:initialize network weights (often sma...
2014-11-17T08:16:00Z
2014-11-17T08:16:00Z
五色光
https://www.cnblogs.com/wuseguang/
【摘要】本文结合维基百科http://en.wikipedia.org/wiki/Backpropagation的说明,对神经网络的后向传播算法做一个总结,并作简单的公式推导。典型的只含有1个隐层的3层神经网络的后向传播算法流程如下:initialize network weights (often sma... <a href="https://www.cnblogs.com/wuseguang/p/aabbcc.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wuseguang/p/4094996.html
trie树信息抽取之中文数字抽取 - 五色光
这一章讲一下利用trie树对中文数字抽取的算法。trie树是一个非常有用的数据结构,可以应用于大部分文本信息抽取/转换之中,后续会开一个系列,对我在实践中摸索出来的各种抽取算法讲开来。比如中文时间抽取,地址抽取等。Trie树trie树又称为前缀树,索引树,字典树。用来对字符串进行索引,每个节点存储一...
2014-11-13T07:04:00Z
2014-11-13T07:04:00Z
五色光
https://www.cnblogs.com/wuseguang/
【摘要】这一章讲一下利用trie树对中文数字抽取的算法。trie树是一个非常有用的数据结构,可以应用于大部分文本信息抽取/转换之中,后续会开一个系列,对我在实践中摸索出来的各种抽取算法讲开来。比如中文时间抽取,地址抽取等。Trie树trie树又称为前缀树,索引树,字典树。用来对字符串进行索引,每个节点存储一... <a href="https://www.cnblogs.com/wuseguang/p/4094996.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wuseguang/p/4088817.html
牛顿法与拟牛顿法,DFP法,BFGS法,L-BFGS法 - 五色光
牛顿法考虑如下无约束极小化问题:$$\min_{x} f(x)$$其中$x\in R^N$,并且假设$f(x)$为凸函数,二阶可微。当前点记为$x_k$,最优点记为$x^*$。梯度下降法用的是一阶偏导,牛顿法用二阶偏导。以标量为例,在当前点进行泰勒二阶展开:$$\varphi(x)=f(x_k)+f...
2014-11-11T02:20:00Z
2014-11-11T02:20:00Z
五色光
https://www.cnblogs.com/wuseguang/
【摘要】牛顿法考虑如下无约束极小化问题:$$\min_{x} f(x)$$其中$x\in R^N$,并且假设$f(x)$为凸函数,二阶可微。当前点记为$x_k$,最优点记为$x^*$。梯度下降法用的是一阶偏导,牛顿法用二阶偏导。以标量为例,在当前点进行泰勒二阶展开:$$\varphi(x)=f(x_k)+f... <a href="https://www.cnblogs.com/wuseguang/p/4088817.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wuseguang/p/4081207.html
word2vec生成词向量原理 - 五色光
假设每个词对应一个词向量,假设:1)两个词的相似度正比于对应词向量的乘积。即:$sim(v_1,v_2)=v_1\cdot v_2$。即点乘原则;2)多个词$v_1\sim v_n$组成的一个上下文用$C$来表示,其中$C=\sum_{i=1}^{n}v_i$。$\frac{C}{|C|}$称作上下...
2014-11-07T06:07:00Z
2014-11-07T06:07:00Z
五色光
https://www.cnblogs.com/wuseguang/
【摘要】假设每个词对应一个词向量,假设:1)两个词的相似度正比于对应词向量的乘积。即:$sim(v_1,v_2)=v_1\cdot v_2$。即点乘原则;2)多个词$v_1\sim v_n$组成的一个上下文用$C$来表示,其中$C=\sum_{i=1}^{n}v_i$。$\frac{C}{|C|}$称作上下... <a href="https://www.cnblogs.com/wuseguang/p/4081207.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wuseguang/p/4072920.html
统计机器翻译(SMT)步骤总结 - 五色光
本文是在Niutrans论坛中的系列教程中总结出来的。1、语料预处理预处理的结果是生成双语分词之后的文件,该步需要注意的是对规则短语,比如数字、日期、网址等,进行泛化处理。可以用正则方法或者其它方法。注意日期中的点和外文人名中的点和网址中的点和句末标点要区分开来,数字和日期也要区分开来。其中变化比较...
2014-11-04T02:15:00Z
2014-11-04T02:15:00Z
五色光
https://www.cnblogs.com/wuseguang/
【摘要】本文是在Niutrans论坛中的系列教程中总结出来的。1、语料预处理预处理的结果是生成双语分词之后的文件,该步需要注意的是对规则短语,比如数字、日期、网址等,进行泛化处理。可以用正则方法或者其它方法。注意日期中的点和外文人名中的点和网址中的点和句末标点要区分开来,数字和日期也要区分开来。其中变化比较... <a href="https://www.cnblogs.com/wuseguang/p/4072920.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/wuseguang/p/4071374.html
libthrift0.9.0解析(五)之TNonblockingServer&THsHaServer - 五色光
本文是一边看代码一边写的,是真随笔,随看随下笔。看TNonblockingServer,先看其父类AbstractNonblockingServer。一般来说,父类封装的都是通用的东西,具体的底层实现方式交由子类来实现。因此抽象类一般会作为两层之间的交点所在,父类在上层,子类在下层。先看父类,再看子...
2014-11-03T07:42:00Z
2014-11-03T07:42:00Z
五色光
https://www.cnblogs.com/wuseguang/
【摘要】本文是一边看代码一边写的,是真随笔,随看随下笔。看TNonblockingServer,先看其父类AbstractNonblockingServer。一般来说,父类封装的都是通用的东西,具体的底层实现方式交由子类来实现。因此抽象类一般会作为两层之间的交点所在,父类在上层,子类在下层。先看父类,再看子... <a href="https://www.cnblogs.com/wuseguang/p/4071374.html" target="_blank">阅读全文</a>