孤独的圈

摘要： 广义线性模型（Generalized Linear Models） 前面的内容讲述的是回归问题和分类问题的一些常用的算法。从这一部分开始，我们从指数族的概念出发，综合前面讲的内容，讲解广义线性模型（GLM）。我们将发现，前面讲的内容，只是GLM的特例。指数族（The exponential family） 对于满足如下形式的分布我们称为指数族： 其中，η称为特性参数（natural parameter），T(y)为充分统计量（sufficient statistic），a(η)为对数分函数（log partition function）。 下面我们说明一些常见的分布... 阅读全文

摘要： 感知器算法（The perceptron algorithm）和牛顿法（The Newton's method）感知器算法： 在前面讲的逻辑回归中，g(z)采用的是sigmoid函数；而在感知器算法中，g(z)采用阶跃函数： 同样，让hθ(x) = g(θTx)，更新策略为： 这就是感知器学习算法。牛顿法： 牛顿法原本是用来寻找一个函数的零点的，采用如下的更新策略： 同样，我们可以用牛顿下降法来寻找一个函数的最大值点，采用下面的更新策略： 在逻辑回归中，我们用牛顿法来代替... 阅读全文

摘要： 逻辑回归（Logistic regression） 前面几篇文章都是在讨论回归问题，从这一部分开始，过渡到分类问题。第一篇文章中曾经写过：如果输出值为连续值，则可归为回归问题；如果输出值为若干离散值，则为分类问题。 从最简单的问题开始，我们假设输出值y只有两个值{0,1}。这时，如果用线性回归，我们很难找到符合要求的线性函数，于是，采用另一种回归——逻辑回归。 在线性回归中，我们假设其“规律”为一个线性函数： 而在逻辑回归中，我们假设其“规律”为一个逻辑函数： 其中， 称为逻辑函数或sigmoi... 阅读全文

摘要： 局部权值线性回归（Locally weighted linear regression） 局部权值线性回归思想来自于过拟合、欠拟合等概念。 如下图， 第一幅图中是用直线去拟合数据点，它没有反映出数据点的足够多的特征或规律，这种现象称为欠拟合；第三幅图中是用五次曲线拟合数据点，虽然图中的每一个点都落在了曲线上，但不能正确反应出数据的趋势，这种现象称为过拟合。 局部权值线性回归思想在于，数据点过多时，线性回归不足以在全局范围内反映数据点足够多的特征或规律，但是在局部范围内可以达到拟合效果。所以，对于样本输出的预测，可以只考虑样本局部范围内的训练数据。可以通过对准则函数增加权值的方式，来... 阅读全文

摘要： 规范方程（The normal equations） 这一部分主要讲述怎样用矩阵的形式描述线性回归。 首先定义几个概念： （1）A为m*n的矩阵，f(A)是关于A的函数，它将矩阵A映射为一个实数， f关于A的导数可以定义为： （2）A为n*n的矩阵，矩阵的轨迹定义为： 即：矩阵的轨迹为其对角元素的和 矩阵的轨迹有如下的一些性质： 综合以上的两个概念，我们可以得到如下的一些性质： 根据以上的概念和性质，我们可以用矩阵的方式来描述最小... 阅读全文

摘要： 最小均方算法（LMS Algorithm）及其matlab代码实现 线性回归的目的是寻找θ使得J(θ)取得最小值。如何使J(θ)取得最小值，可以采用梯度下降算法逐步逼近。 算法过程如下： （1）初始化一个θ，可以取随机值； （2）采用如下公式进行迭代： 其中，θj是θ的第j个分量，α是步长，也称为学习速率（Learning rate）。最后那一部分是J(θ)关于θj的导数。 对于只有一个训练样本的情况，我们有： 由此，可以得到一个训练样本时的更新规则： 这个规则称为LMS更新规则，也叫做Widrow-Hoff学习规则。上标i表示第i个... 阅读全文

摘要： 线性回归（Linear Regression） 线性回归是采用线性拟合的方法，获得其“规律”（或者称为假设）h。换句话说，就是假设“规律”h是一个关于特征x的线性函数，然后再估计h的系数。 不妨设x是二维向量，有： θi是线性函数的参数，xi表示第i个特征值。不妨设x0=1，这样， 其中θ和x都是向量，n为特征的个数。 线性回归的过程就是估计θ的过程，估计θ的方法有很多种，在以后的文章中会一一介绍。 怎样衡量一个θ的值是否合适呢？这里定义了一个准则函数（cost function）： 能够使J(θ)最小的θ自然就是最优解。上面公式中，m是训练样... 阅读全文

摘要： 有监督学习（Supervised Learning）所谓有监督学习，是区别于无监督学习而言的。其过程如下：给定一系列样本，样本是由一系列特征值和输出值组成。比如，某个地方的商品房，包括房子大小、房间数、距离市中心的距离等等特征值以及房价这个输出值。根据这些样本，找出特征值和输出值之间的规律，从而根据这些规律预测新的样本。“找规律”就是一个学习或训练的过程。有监督学习就是在学习的过程中，加入人工的干预；换一种说法，就是在训练的过程中，告诉机器，对每一个输入，输出应该是什么。训练完成后，我们得到了一种规律。根据这个规律，对于以后新来的样本，可以通过分析其特征值，预测其输出值。比如，我们通过训练或学 阅读全文