Scott_Ni

摘要： 说明：本文是翻译了《Convolutional Neural Networks(LeNet)》http://deeplearning.net/tutorial/lenet.html#lenet为了督促自己学习Deep Learning和实际应用Theano，尝试翻译文章。当做笔记用，翻译的不好请见谅。卷积神经网络动机 卷积神经网络（CNN）是MLP的变种，受到了生物学得启发。自从Hubel和Wiesel关于猫的视觉皮层的研究，我们知道在视觉皮层中存在复杂的层次结构。那些细胞对输入空间的小区域敏感，称作感知区域，并且以这种方式布满了整个视觉区域。这种过滤器在输入空间上是局部的，因此可以更好的研. 阅读全文

摘要： 关于LDA资料总结：经典的LDA原始论文：《Latent Dirichlet Allocation》 David M.Blei, Andrew Y.Ng, Michael I.JordanLDA的Gibbs抽样方法：《Probabilistic Topic Models》 Mark Steyvers ;《Finding scientific topics》 Griffiths,T.L.,Steyvers,M. 阅读全文

摘要： E-M算法：最大期望算法，分为E-step，M-step。目标是最大化目标函数，通常是求导，导数为0。如果不可求导或是不好计算，则寻找目标函数的下界。E-step估计下界（使得下界尽可能等于原目标函数），M-step估计使得下界最大的参数。每做一次EM，下界单调递增，不断逼近目标函数，直至收敛。GMM：高斯混合模型，即假设样本数据可由多个高斯分布混合生成。可用作聚类，即每个高斯分布为一类。有数据估计分布，称作密度估计。想法是找到一组参数，使得它们确定的概率分布生成样本点的概率最大。一个样本点由某个分布生成的概率可以计算。固定分布，可知该分布生成的数据点。初始化一个分布，即任意给定其均值，方差， 阅读全文

摘要： ==================关联规则挖掘==================原理及目标--根据共现找出相关联的信息相关概念----物品， 物品集， 事务，关联规则，支持度，可信度，最小支持度，最小可信度，频繁项集关联规则发现任务--------给定一个事务数据库D，求出所有满足最小支持度和最小可信度的关联规则。该问题可以分解为两个子问题：1. 求出D中满足最小支持度的所有频繁集； # 难点，如何高效地求出频繁项集？2. 利用频繁集生成满足最小可信度的所有关联规则。 # 容易解决注：频繁集具有向下封闭性，即：频繁集的子集一定是频繁集；非频繁集的超集一定是非频繁集。Apriori算法--- 阅读全文

摘要： 在学习NLP，ML的时候，经常会用到高斯分布。为什么假设一些数据服从高斯分布呢？很直观的原因是现实生活中的例子一般满足高斯分布，比如学生的成绩分布等。直到看了Ng的《机器学习》课之后，才明白原因。1. 高斯分布便于计算。2. 对实际数据建模的时候，通常会做一些假设。然后模型和实际数据之间会有一定的误差，这些误差是随机的，有各种各样的原因会引起误差，各种因素之间是相互独立的，且假定满足某一分布（并非同分布）。根据中心极限定理，任意独立的分布的平均分布近似服从正态分布，当样本量足够大的时候。因此，假设误差服从正态分布是合理的。备忘。 阅读全文

摘要： 这是我的第一篇日记，以后这里将会成为我的工作心得和分享记录。这是一个技术博客，以后会把工作中遇到的问题，算法总结记录下来。加油！ 阅读全文