随笔分类 - 机器学习
摘要：传统CNN里的卷积核是一个generalized linear model(GLM)之后经过一个sigmoid（现在通常是ReLu）的非线性激励函数，假设卷积有K个filter，那么这K个filter代表的特征应该是可分的，或者说对属于同一个类别的不同变形具有不变性。但是通过GLM来建模，也就是假设...
阅读全文
摘要：最流行的4个机器学习数据集字数887阅读5012评论5喜欢21机器学习算法需要作用于数据，而数据的本质则决定了应用的机器学习算法是否合适，而数据的质量也会决定算法表现的好坏程度。所以会研究数据，会分析数据很重要。本文作为学习研究数据系列博文的开篇，列举了4个最流行的机器学习数据集。IrisIris也...
阅读全文
摘要：Deep Learning Libraries by LanguageTweetPythonTheanois a python library for defining and evaluating mathematical expressions with numerical arrays. It...
阅读全文
摘要：摘要：CNN作为当今绝大多数计算机视觉系统的核心技术，在图像分类领域做出了巨大贡献。本文从计算机视觉的用例开始，介绍CNN及其在自然语言处理中的优势和发挥的作用。当我们听到卷积神经网络（ConvolutionalNeuralNetwork,CNNs）时，往往会联想到计算机视觉。CNNs在图像分类领域...
阅读全文
摘要：传统CNN里的卷积核是一个generalized linear model(GLM)之后经过一个sigmoid（现在通常是ReLu）的非线性激励函数，假设卷积有K个filter，那么这K个filter代表的特征应该是可分的，或者说对属于同一个类别的不同变形具有不变性。但是通过GLM来建模，也就是假设...
阅读全文
摘要：论文笔记 《Maxout Networks》 && 《Network In Network》发表于 2014-09-22 | 1条评论出处maxout：http://arxiv.org/pdf/1302.4389v4.pdfNIN：http://arxiv.org/abs/1312.4400参考ma...
阅读全文
摘要：# Optionally, you could now dump the network weights to a file like this:# np.savez('model.npz', *lasagne.layers.get_all_param_values(network))## And ...
阅读全文
摘要：前言 从理解卷积神经到实现它，前后花了一个月时间，现在也还有一些地方没有理解透彻，CNN还是有一定难度的，不是看哪个的博客和一两篇论文就明白了，主要还是靠自己去专研，阅读推荐列表在末尾的参考文献。目前实现的CNN在MINIT数据集上效果还不错，但是还有一些bug，因为最近比较忙，先把之前做的总结一...
阅读全文
摘要：自今年七月份以来，一直在实验室负责卷积神经网络（Convolutional Neural Network，CNN），期间配置和使用过theano和cuda-convnet、cuda-convnet2。为了增进CNN的理解和使用，特写此博文，以其与人交流，互有增益。正文之前，先说几点自己对于CNN的感...
阅读全文
摘要：导入theano包后出现如下警告：WARNING (theano.configdefaults): g++ not detected ! Theano will be unable to execute optimized C-implementations (for both CPU and GP...
阅读全文
摘要：支持向量机即Support Vector Machine，简称 SVM 。我最开始听说这头机器的名号的时候，一种神秘感就油然而生，似乎把 Support 这么一个具体的动作和 Vector 这么一个抽象的概念拼到一起，然后再做成一个 Machine ，一听就很玄了！不过后来我才知道，原来 SVM 它...
阅读全文
摘要：由于总是有各种各样的杂事，这个系列的文章竟然一下子拖了好几个月，（实际上其他的日志我也写得比较少），现在决定还是先把这篇降维的日志写完。我甚至都以及忘记了在这个系列中之前有没有讲过“特征”（feature）的概念了，这里不妨再稍微提一下。机器学习应用到各个领域里，会遇到许多不同类型的数据要处理：图像...
阅读全文
摘要：Expectation Maximization (EM)是一种以迭代的方式来解决一类特殊最大似然 (Maximum Likelihood) 问题的方法，这类问题通常是无法直接求得最优解，但是如果引入隐含变量，在已知隐含变量的值的情况下，就可以转化为简单的情况，直接求得最大似然解。我们会看到，上一次...
阅读全文
摘要：在接下去说其他的聚类算法之前，让我们先插进来说一说一个有点跑题的东西：Vector Quantization。这项技术广泛地用在信号处理以及数据压缩等领域。事实上，在 JPEG 和 MPEG-4 等多媒体压缩格式里都有 VQ 这一步。Vector Quantization 这个名字听起来有些玄乎，其...
阅读全文
摘要：如果说K-means和GMM这些聚类的方法是古代流行的算法的话，那么这次要讲的 Spectral Clustering 就可以算是现代流行的算法了，中文通常称为“谱聚类”。由于使用的矩阵的细微差别，谱聚类实际上可以说是一“类”算法。Spectral Clustering 和传统的聚类方法（例如 K-...
阅读全文
摘要：系列不小心又拖了好久，其实正儿八经的 blog 也好久没有写了，因为比较忙嘛，不过觉得 Hierarchical Clustering 这个话题我能说的东西应该不多，所以还是先写了吧（我准备这次一个公式都不贴）。Hierarchical Clustering 正如它字面上的意思那样，是层次化的聚类，...
阅读全文
摘要：上一次我们了解了一个最基本的 clustering 办法 k-means ，这次要说的 k-medoids 算法，其实从名字上就可以看出来，和 k-means 肯定是非常相似的。事实也确实如此，k-medoids 可以算是 k-means 的一个变种。k-medoids 和 k-means 不一样的...
阅读全文
摘要：上一次我们谈到了用 k-means 进行聚类的方法，这次我们来说一下另一个很流行的算法：Gaussian Mixture Model (GMM)。事实上，GMM 和 k-means 很像，不过 GMM 是学习出一些概率密度函数来（所以 GMM 除了用在 clustering 上之外，还经常被用于 d...
阅读全文
摘要：好久没有写 blog 了，一来是 blog 下线一段时间，而租 DreamHost 的事情又一直没弄好；二来是没有太多时间，天天都跑去实验室。现在主要折腾 Machine Learning 相关的东西，因为很多东西都不懂，所以平时也找一些资料来看。按照我以前的更新速度的话，这么长时间不写 blog ...
阅读全文
浙公网安备 33010602011771号