随笔分类 -  机器学习

KD tree
摘要：Kd-树 其实是K-dimension tree的缩写，是对数据点在k维空间中划分的一种数据结构。其实，Kd-树是一种平衡二叉树。举一示例：假设有六个二维数据点 = {（2,3），（5,4），（9,6），（4,7），（8,1），（7,2）}，数据点位于二维空间中。为了能有效的找到最近邻，Kd-树采用... 阅读全文
posted @ 2014-10-19 16:58 兰缨沅 阅读(3709) 评论(1) 推荐(1)
过拟合/欠拟合
摘要：对于一个监督学习模型来说，过小的特征集合使得模型过于简单，过大的特征集合使得模型过于复杂。对于特征集过小的情况，称之为欠拟合（underfitting）；对于特征集过大的情况，称之为过拟合（overfitting）解决此类学习问题的方法：1)特征选择算法：一类自动化算法，在这类回归问题中选择用到的特... 阅读全文
posted @ 2014-10-19 16:49 兰缨沅 阅读(1823) 评论(0) 推荐(0)
感知器算法
摘要：在logistic方法中，g(z)会生成[0,1]之间的小数，但如何是g(z)只生成0或1？所以，感知器算法将g(z)定义如下：同样令，和logistic回归的梯度上升算法类似，学习规则如下：尽管看起来和之前的学习算法类似，但感知器算法是一种非常简便的学习算法，临界值和输出只能是0或1，是比logi... 阅读全文
posted @ 2014-10-19 16:48 兰缨沅 阅读(277) 评论(0) 推荐(0)
logistic回归
摘要：这是分类算法。之前的回归问题尝试预测的变量y是连续变量，在这个分类算法中，变量y是离散的，y只取{0,1}两个值。一般这种离散二值分类问题用线性回归效果不好。比如x3，y=1，那么当x>3的样本占得比例很大是，线性回归的直线斜率就会越来越小，y=0.5时对应的x判决点就会比3大，造成预测错误。若y取... 阅读全文
posted @ 2014-10-19 16:47 兰缨沅 阅读(257) 评论(0) 推荐(0)
局部加权回归
摘要：一种特定的非参数学习算法。也称作Loess。算法思想：假设对于一个确定的查询点x，在x处对你的假设h(x)求值。对于线性回归，步骤如下：1)拟合出，使最小2)返回对于局部加权回归，当要处理x时：1)检查数据集合，并且只考虑位于x周围的固定区域内的数据点2)对这个区域内的点做线性回归，拟合出一条直线3... 阅读全文
posted @ 2014-10-19 16:45 兰缨沅 阅读(652) 评论(0) 推荐(0)
参数学习/非参数学习算法
摘要：参数学习算法（parametric learning algorithm）定义：参数学习算法是一类有固定数目参数，以用来进行数据拟合的算法。设该固定的参数集合为。线性回归即使参数学习算法的一个例子非参数学习算法（Non-parametric learning algorithm）定义：一个参数数量会... 阅读全文
posted @ 2014-10-19 16:42 兰缨沅 阅读(1013) 评论(0) 推荐(0)
过拟合/欠拟合&logistic回归等总结（Ng第二课）
摘要：昨天学习完了Ng的第二课，总结如下：过拟合；欠拟合；参数学习算法；非参数学习算法局部加权回归KD tree最小二乘中心极限定律感知器算法sigmod函数梯度下降/梯度上升二元分类logistic回归 阅读全文
posted @ 2014-10-19 16:30 兰缨沅 阅读(525) 评论(0) 推荐(0)
机器学习的一些基本概念
摘要：回归： 在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如locally weighted回归，logistic回归，等等。训练集(training set)或者训练数据(traini... 阅读全文
posted @ 2014-10-15 22:39 兰缨沅 阅读(183) 评论(0) 推荐(0)
【转】梯度下降
摘要：回归与梯度下降：回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如locally weighted回归，logistic回归，等等，这个将在后面去讲。用一个很简单的例子来说明回归，这个例... 阅读全文
posted @ 2014-10-15 22:16 兰缨沅 阅读(152) 评论(0) 推荐(0)
【转】 随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）的公式对比、实现对比
摘要：梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种迭代求解思路，下面从公式和实现的角度对两者进行分析，如有哪个方面写的不对，希望网友纠正。下面的h(x)是要拟合的函数，J(theta)损失函数，theta是参数，要迭代求解的值，theta求解出来了那最终要拟合... 阅读全文
posted @ 2014-10-15 21:23 兰缨沅 阅读(210) 评论(0) 推荐(0)
【转】梯度下降算法原理
摘要：Logistic回归的理论内容上篇文章已经讲述过，在求解参数时可以用牛顿迭代，可以发现这种方法貌似太复杂，今天我们介绍另一种方法，叫梯度下降。当然求最小值就是梯度下降，而求最大值相对就是梯度上升。由于，如果，那么得到现在我们要找一组，使得所有的最接近，设现在我们要找一组，使得最小。这就是今天要介绍的... 阅读全文
posted @ 2014-10-15 21:10 兰缨沅 阅读(830) 评论(0) 推荐(0)
梯度下降算法的一点认识（Ng第一课）
摘要：昨天开始看Ng教授的机器学习课，发现果然是不错的课程，一口气看到第二课。 第一课 没有什么新知识，就是机器学习的概况吧。 第二课 出现了一些听不太懂的概念。其实这堂课主要就讲了一个算法，梯度下降算法。到了教授推导公式的时候感觉有点蒙，不过后来仔细想想，也大概理解了，这个算法并没有... 阅读全文
posted @ 2014-10-15 20:55 兰缨沅 阅读(497) 评论(0) 推荐(0)