摘要: anaconda3 python3.5 tensorflow 在 windows下的安装 1、安装Anaconda 清华的镜像:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 选择相应的版本,使用64位版本。需要注意的是,目前Window 阅读全文
posted @ 2017-02-28 10:51 ooon 阅读(1591) 评论(0) 推荐(1) 编辑
摘要: 官方word2vec的github下载地址:https://github.com/svn2github/word2vec 环境,linux-ubuntu-14.04LST,安装好git, gcc版本4.8.4 linux下的安装方式: % git clone https://github.com/s 阅读全文
posted @ 2017-02-18 13:55 ooon 阅读(3501) 评论(0) 推荐(0) 编辑
摘要: 摘要 本节将对反向传播进行直观的理解。反向传播是利用链式法则递归计算表达式的梯度的方法。理解反向传播过程及其精妙之处,对于理解、实现、设计和调试神经网络非常关键。反向求导的核心问题是:给定函数 $f(x)$ ,其中 $x$ 是输入数据的向量,需要计算函数 $f$ 关于 $x$ 的梯度,也就是 $\nabla f(x)$ 。 之所以关注上述问题,是因为在神经网络中 $f$ 对应的是损失函数 $L$... 阅读全文
posted @ 2016-09-15 14:26 ooon 阅读(2409) 评论(2) 推荐(0) 编辑
摘要: 回顾上一节中,介绍了图像分类任务中的两个要点: 现在介绍第三个要点,也是最后一个关键部分:最优化Optimization。最优化是寻找能使得损失函数值最小化的参数 W 的过程,一旦理解了这三个部分是如何相互运作的,我们将会回到第一个要点,然后将其拓展为一个远比线性函数复杂的函数:首先是神经网络,然后 阅读全文
posted @ 2016-09-14 20:38 ooon 阅读(1650) 评论(0) 推荐(0) 编辑
摘要: Liner classifier 线性分类器用作图像分类主要有两部分组成:一个是假设函数, 它是原始图像数据到类别的映射。另一个是损失函数,该方法可转化为一个最优化问题,在最优化过程中,将通过更新假设函数的参数值来最小化损失函数值。 从图像到标签分值的参数化映射:该方法的第一部分就是定义一个评分函数 阅读全文
posted @ 2016-09-13 19:12 ooon 阅读(9069) 评论(0) 推荐(1) 编辑
摘要: 今天开始,复习一下 LDA ,记录一些 LDA 的关键步骤,为写好论文做铺垫。第一节的主题是共轭分布,回忆贝叶斯公式: \[p(\theta|X) = \frac{p(\theta) \cdot p(X|\theta) }{p(X)} \Leftrightarrow \mathbf{ posterior = \frac{prior \cdot likelihood}{evidence}}\] 简... 阅读全文
posted @ 2016-09-06 15:26 ooon 阅读(4031) 评论(0) 推荐(0) 编辑
摘要: 朴素贝叶斯(NB) , 最大熵(MaxEnt) (逻辑回归, LR), 因马尔科夫模型(HMM), 最大熵马尔科夫模型(MEMM), 条件随机场(CRF) 这几个模型之间有千丝万缕的联系,本文首先会证明 Logistic 与 MaxEnt 的等价性,接下来将从图模型的角度阐述几个模型之间的关系,首先用一张图总结一下几个模型的关系: Logistic(Softmax) MaxEnt 等价性... 阅读全文
posted @ 2016-09-01 12:22 ooon 阅读(6402) 评论(1) 推荐(1) 编辑
摘要: CRF 的预测问题是给定模型参数和输入序列(观测序列)x, 求条件概率最大的输出序列(标记序列)$y^*$,即对观测序列进行标注。条件随机场的预测算法同 HMM 还是维特比算法,根据 CRF模型可得: \begin{aligned}y^* &= \arg \max_yP_w(y|x) \\&= \a 阅读全文
posted @ 2016-08-31 18:18 ooon 阅读(4735) 评论(1) 推荐(0) 编辑
摘要: 本节讨论给定训练数据集估计条件随机场模型参数的问题,即条件随机场的学习问题。条件随机场模型实际上是定义在时序数据上的对数线形模型,其学习方法包括极大似然估计和正则化的极大似然估计。具体的优化实现算法有改进的迭代尺度法IIS、梯度下降法以及 L-BFGS 算法。(crf++ 采用了 L-BFGS 优化的方式,所以着重看这种训练方法即可) L-BFGS算法 对于条件随机场模型: \[P_w(y|x) ... 阅读全文
posted @ 2016-08-31 17:08 ooon 阅读(7544) 评论(0) 推荐(0) 编辑
摘要: 条件随机场的概率计算问题是给定条件随机场 P(Y|X) ,输入序列 x 和输出序列 y ,计算条件概率 $P(Y_{i-1} = y_{i-1}Y_i = y_i|x)$ ,$P(Y_i = y_i|x)$ 以及相应的数学期望的问题。为了方便起见,像 HMM 那样,引进前向-后向向量,递归地计算以上 阅读全文
posted @ 2016-08-30 20:07 ooon 阅读(4440) 评论(0) 推荐(0) 编辑