孤独的圈

摘要： 局部权值线性回归（Locally weighted linear regression） 局部权值线性回归思想来自于过拟合、欠拟合等概念。 如下图， 第一幅图中是用直线去拟合数据点，它没有反映出数据点的足够多的特征或规律，这种现象称为欠拟合；第三幅图中是用五次曲线拟合数据点，虽然图中的每一个点都落在了曲线上，但不能正确反应出数据的趋势，这种现象称为过拟合。 局部权值线性回归思想在于，数据点过多时，线性回归不足以在全局范围内反映数据点足够多的特征或规律，但是在局部范围内可以达到拟合效果。所以，对于样本输出的预测，可以只考虑样本局部范围内的训练数据。可以通过对准则函数增加权值的方式，来... 阅读全文

摘要： 规范方程（The normal equations） 这一部分主要讲述怎样用矩阵的形式描述线性回归。 首先定义几个概念： （1）A为m*n的矩阵，f(A)是关于A的函数，它将矩阵A映射为一个实数， f关于A的导数可以定义为： （2）A为n*n的矩阵，矩阵的轨迹定义为： 即：矩阵的轨迹为其对角元素的和 矩阵的轨迹有如下的一些性质： 综合以上的两个概念，我们可以得到如下的一些性质： 根据以上的概念和性质，我们可以用矩阵的方式来描述最小... 阅读全文

摘要： 最小均方算法（LMS Algorithm）及其matlab代码实现 线性回归的目的是寻找θ使得J(θ)取得最小值。如何使J(θ)取得最小值，可以采用梯度下降算法逐步逼近。 算法过程如下： （1）初始化一个θ，可以取随机值； （2）采用如下公式进行迭代： 其中，θj是θ的第j个分量，α是步长，也称为学习速率（Learning rate）。最后那一部分是J(θ)关于θj的导数。 对于只有一个训练样本的情况，我们有： 由此，可以得到一个训练样本时的更新规则： 这个规则称为LMS更新规则，也叫做Widrow-Hoff学习规则。上标i表示第i个... 阅读全文