摘要: 今年 6 月份,Alex Rodriguez 和 Alessandro Laio 在 Science 上发表了一篇名为《Clustering by fast search and find of density peaks》的文章,为聚类算法的设计提供了一种新的思路。虽然文章出来后遭到了众多... 阅读全文
posted @ 2014-08-29 19:30 peghoty 阅读(13507) 评论(2) 推荐(4) 编辑
摘要: word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包,它简单、高效,因此引起了很多人的关注。由于 word2vec 的作者 Tomas Mikolov 在两篇相关的论文 [3,4] 中并没有谈及太多算法细节,因而在一定程度上增加了这个工具包... 阅读全文
posted @ 2014-07-21 10:04 peghoty 阅读(154841) 评论(13) 推荐(37) 编辑
摘要: Martin A. Zinkevich 等人(Yahoo!Lab)合作的论文 Parallelized Stochastic Gradient Descent 中给出了一种适合于 MapReduce 的并行随机梯度下降法,并给出了相应的收敛性分析。这里忽略理论部分,根据自己的理解给出文中所提并行随机梯度下降法的描述。 阅读全文
posted @ 2014-06-23 19:53 peghoty 阅读(1946) 评论(0) 推荐(0) 编辑
摘要: Log-Linear 模型(也叫做最大熵模型)是 NLP 领域中使用最为广泛的模型之一,其训练常采用最大似然准则,且为防止过拟合,往往在目标函数中加入(可以产生稀疏性的) L1 正则。但对于这种带 L1 正则的最大熵模型,直接采用标准的随机梯度下降法(SGD)会出现效率不高和难以真正产生稀疏性... 阅读全文
posted @ 2014-06-11 14:06 peghoty 阅读(543) 评论(0) 推荐(0) 编辑
摘要: 生活中我们经常听到人们说“不要把鸡蛋放到一个篮子里”,这样可以降低风险。深究一下,这是为什么呢?其实,这里边包含了所谓的最大熵原理(The Maximum Entropy Principle)。本文为一则读书笔记,将对最大熵原理以及由此导出的最大熵模型进行介绍,重点给出其中所涉及数... 阅读全文
posted @ 2014-05-22 08:28 peghoty 阅读(572) 评论(0) 推荐(0) 编辑
摘要: 生活中我们经常听到人们说“不要把鸡蛋放到一个篮子里”,这样可以降低风险。深究一下,这是为什么呢?其实,这里边包含了所谓的最大熵原理(The Maximum Entropy Principle)。本文为一则读书笔记,将对最大熵原理以及由此导出的最大熵模型进行介绍,重点给出其中所涉及数... 阅读全文
posted @ 2014-05-22 08:27 peghoty 阅读(400) 评论(0) 推荐(0) 编辑
摘要: 生活中我们经常听到人们说“不要把鸡蛋放到一个篮子里”,这样可以降低风险。深究一下,这是为什么呢?其实,这里边包含了所谓的最大熵原理(The Maximum Entropy Principle)。本文为一则读书笔记,将对最大熵原理以及由此导出的最大熵模型进行介绍,重点给出其中所涉及数... 阅读全文
posted @ 2014-05-22 08:27 peghoty 阅读(301) 评论(0) 推荐(0) 编辑
摘要: 生活中我们经常听到人们说“不要把鸡蛋放到一个篮子里”,这样可以降低风险。深究一下,这是为什么呢?其实,这里边包含了所谓的最大熵原理(The Maximum Entropy Principle)。本文为一则读书笔记,将对最大熵原理以及由此导出的最大熵模型进行介绍,重点给出其中所涉及数... 阅读全文
posted @ 2014-05-22 08:27 peghoty 阅读(511) 评论(0) 推荐(0) 编辑
摘要: 生活中我们经常听到人们说“不要把鸡蛋放到一个篮子里”,这样可以降低风险。深究一下,这是为什么呢?其实,这里边包含了所谓的最大熵原理(The Maximum Entropy Principle)。本文为一则读书笔记,将对最大熵原理以及由此导出的最大熵模型进行介绍,重点给出其中所涉及数... 阅读全文
posted @ 2014-05-22 08:27 peghoty 阅读(350) 评论(0) 推荐(0) 编辑
摘要: 生活中我们经常听到人们说“不要把鸡蛋放到一个篮子里”,这样可以降低风险。深究一下,这是为什么呢?其实,这里边包含了所谓的最大熵原理(The Maximum Entropy Principle)。本文为一则读书笔记,将对最大熵原理以及由此导出的最大熵模型进行介绍,重点给出其中所涉及数... 阅读全文
posted @ 2014-05-22 08:26 peghoty 阅读(290) 评论(0) 推荐(0) 编辑
摘要: 生活中我们经常听到人们说“不要把鸡蛋放到一个篮子里”,这样可以降低风险。深究一下,这是为什么呢?其实,这里边包含了所谓的最大熵原理(The Maximum Entropy Principle)。本文为一则读书笔记,将对最大熵原理以及由此导出的最大熵模型进行介绍,重点给出其中所涉及数... 阅读全文
posted @ 2014-05-22 08:26 peghoty 阅读(518) 评论(0) 推荐(1) 编辑
摘要: 朋友@耗子突然问起我一个 Lagrange 插值公式的问题,发现几年没碰差不多要忘干净了,于是找了本教科书来翻了翻,顺便把几个要点整理成文,以备日后查阅。作者: peghoty出处:http://blog.csdn.net/itplus/article/details/22827961... 阅读全文
posted @ 2014-04-02 22:56 peghoty 阅读(306) 评论(0) 推荐(0) 编辑
摘要: 本文对自编码器(Auto-Encoder)算法及其相关变种算法进行简要介绍,其中包括 Regularized Auto-Encoder、Sparse Auto-Encoder、Denoising Auto-Encoder 和 Contractive Auto-Encoder... 阅读全文
posted @ 2014-03-31 22:48 peghoty 阅读(392) 评论(0) 推荐(0) 编辑
摘要: Sparse Filtering 是一个用于提取特征的无监督学习算法,与通常特征学习算法试图建模训练数据的分布的做法不同,Sparse Filtering 直接对训练数据的特征分布进行分析,在所谓“好特征”的指导下构建目标函数来进行优化,其中只涉及一个可调参数。本文将... 阅读全文
posted @ 2014-03-25 17:19 peghoty 阅读(360) 评论(0) 推荐(0) 编辑
摘要: Sparse Filtering 是一个用于提取特征的无监督学习算法,与通常特征学习算法试图建模训练数据的分布的做法不同,Sparse Filtering 直接对训练数据的特征分布进行分析,在所谓“好特征”的指导下构建目标函数来进行优化,其中只涉及一个可调参数。本文将... 阅读全文
posted @ 2014-03-25 17:19 peghoty 阅读(305) 评论(0) 推荐(0) 编辑
摘要: Sparse Filtering 是一个用于提取特征的无监督学习算法,与通常特征学习算法试图建模训练数据的分布的做法不同,Sparse Filtering 直接对训练数据的特征分布进行分析,在所谓“好特征”的指导下构建目标函数来进行优化,其中只涉及一个可调参数。本文将... 阅读全文
posted @ 2014-03-25 17:18 peghoty 阅读(254) 评论(0) 推荐(0) 编辑
摘要: 机器学习算法中经常碰到非线性优化问题,如 Sparse Filtering 算法,其主要工作在于求解一个非线性极小化问题。在具体实现中,大多调用的是成熟的软件包做支撑,其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理,这几天做了一些调研,现把学习过程中理解的一些东西整理出... 阅读全文
posted @ 2014-03-24 00:53 peghoty 阅读(567) 评论(0) 推荐(0) 编辑
摘要: 机器学习算法中经常碰到非线性优化问题,如 Sparse Filtering 算法,其主要工作在于求解一个非线性极小化问题。在具体实现中,大多调用的是成熟的软件包做支撑,其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理,这几天做了一些调研,现把学习过程中理解的一些东西整理出... 阅读全文
posted @ 2014-03-24 00:53 peghoty 阅读(366) 评论(0) 推荐(0) 编辑
摘要: 机器学习算法中经常碰到非线性优化问题,如 Sparse Filtering 算法,其主要工作在于求解一个非线性极小化问题。在具体实现中,大多调用的是成熟的软件包做支撑,其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理,这几天做了一些调研,现把学习过程中理解的一些东西整理出... 阅读全文
posted @ 2014-03-24 00:52 peghoty 阅读(501) 评论(0) 推荐(0) 编辑
摘要: 机器学习算法中经常碰到非线性优化问题,如 Sparse Filtering 算法,其主要工作在于求解一个非线性极小化问题。在具体实现中,大多调用的是成熟的软件包做支撑,其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理,这几天做了一些调研,现把学习过程中理解的一些东西整理出... 阅读全文
posted @ 2014-03-24 00:51 peghoty 阅读(416) 评论(0) 推荐(0) 编辑