随笔分类 - 机器学习
摘要：深度学习被大家追捧起始于2014年 AlexNet 在 ImageNet 的出色表现。从此以后各种各样的卷积神经网络被提出。本节对经典的卷积神经网络进行简要梳理。 1、普通CNN 普通 CNN 可以简单用一个公式表示: $\{~[CONV]^{+} ~ + ~ [POOL]^{*}~ \}^{+}
阅读全文
摘要：前文讲到 Batch Normalization 可以有效的降低梯度消失和梯度爆炸的发生。本文就对 Batch Normalization 进行详细的介绍。首先从两个角度介绍 Batch Normalization 的作用。 a、Internal Covariate Shift 在机器学习中要求"应
阅读全文
摘要：在训练模型的时候，会出现梯度很多为0或者为无穷(在不同的语言里表现不同)的情况。这个时间往往发生了梯度消失或梯度爆炸。梯度消失和梯度爆炸导致模型训练失败。因此我们需要了解其中的原因和解决办法。 1、梯度消失与梯度爆炸的原因 首先看一个简单的神经网络。这个神经网络只有三层，且每层都只有一个神经元。我们
阅读全文
摘要：在做机器学习的项目中，常常会出现这么一个常见而又头痛问题: 训练出来的模型效果不够好。这可怎么办呢？ 不着急，本文分析了这个问题的几种类型，并对其中一种类型介绍一种解决办法：正则化。 先讲一个故事: 老师给你布置了一个人脸识别的问题，你很快做出了一个模型。很快你发现你的模型在训练集上准确率很高，达到
阅读全文
摘要：转载请注明出处 http://www.cnblogs.com/gufeiyang 最小二乘是机器学习中常用的方法，比如线性回归。本文首先简单介绍一下过程中用到的线性代数知识，然后介绍最小二乘的矩阵推导。 定义矩阵$A$, 变量$x$, 变量$b$ $\frac{\partial x^{T}a}{\p
阅读全文
摘要：本文原创，转载请注明出处 http://www.cnblogs.com/gufeiyang 本文主要分两部分，boosting 与 随机森林。 “三个臭皮匠顶一个诸葛亮”是说三个不聪明的人集合在一起往往能战胜一个聪明的人。 在分类上， 如果给定了若干个弱分类器，是否能够集成为一个强分类器。答案是肯定
阅读全文
摘要：转载请注明出处: http://www.cnblogs.com/gufeiyang 首先考虑这么一个问题。操场东边有100个男生，他们的身高符合高斯分布。操场西边有100个女生，她们的身高也符合高斯分布。 如果告诉了男生的身高，我们很容易用极大似然估计求出正态分布的参数。 同理，给出了女生的身高，我
阅读全文
摘要：转载请注明出处: http://www.cnblogs.com/gufeiyang 随着互联网的发展，文本分析越来越受到重视。由于文本格式的复杂性，人们往往很难直接利用文本进行分析。因此一些将文本数值化的方法就出现了。LDA就是其中一种很NB的方法。 LDA有着很完美的理论支撑，而且有着维度小等一系
阅读全文
摘要：python，C#等语言计算正态分布积分的非常的方便。提到C++，很多人就会觉得这个语言非常的笨， 如果不是为了追求效率，很少人会用C++写程序。 其实最近发现，C++有很多封装好的库， 比如矩阵计算有eigen库等。今天想用C++计算一个标准正态分布的积分。 查了很多东西，包括boost等。最后发...
阅读全文
摘要：转载请注明出处: http://www.cnblogs.com/gufeiyang 一个人想看电影的时候常常会思考要看什么电影呢。这个时候他可能会问周围爱好的人求推荐。现在社会每天都会产生海量的信息。面对这么多信息好多人都不知道什么信息是自己需要的。推荐系统正是起了这么一个作用。推荐系统的应用随处可
阅读全文
摘要：作者：flyinghearts出处：http://www.cnblogs.com/flyinghearts/又一次看到讨论“洗牌”算法的文章，奇怪不少人喜欢造轮子，但造的轮子却远没有STL的random_shuffle好用。 若某个序列里面的每个元素在每个位置已经等概率出现，那么新增加一个元素，只...
阅读全文
摘要：转载请注明出处: http://www.cnblogs.com/gufeiyang 个人微博：flysea_gu 聚类的算法有很多，现在已知的算法主要有以下四中类型。划分聚类、层次聚类、基于密度的聚类、基于表格的聚类。 （1）划分聚类 对于给定的数据集，划分聚类需要知道要划分簇的数目k（k<=n,
阅读全文
浙公网安备 33010602011771号