摘要：概念 在回归（一）中提到用最小二乘法求解回归系数的过程中需要考虑特征矩阵是否可逆的问题，事实上当特征数量比样本数量多的时候（样本数m大于特征数n，X不是满秩矩阵）就会遇到这个问题，这个时候标准线性回归显然就无从下手了 引入岭回归就是为了解决这个问题，它是最先用来处理特征数多余样本数的算法。该算法的基 阅读全文

摘要：前言回顾一下回归（一）中的标准线性回归：step1： 对于训练集，求系数w，使得最小step2： 对于新输入x，其预测输出为w*x从中我们知道，标准线性回归可能表达能力比较差，出现如图所示的欠拟合的情况（underfitting）：我们可以通过添加诸如x2或sin(x)等特征重新拟合函数来解决这个问题，但是这里讨论另一种方法：局部加权回归（Locally Weighted Linear Regre... 阅读全文

摘要：概念线性回归（linear regression）意味着可以把输入项分别乘以一些常量，然后把结果加起来得到输出。这个输出就是我们需要预测的目标值而这些常量就是所谓的回归系数我们把求这些回归系数的过程叫做回归，这个过程是对已知数据点的拟合过程更一般化的解释来自Tom M.Mitchell的《机器学习》：回归的含义是逼近一个实数值的目标函数标准线性回归那应该怎么求回归系数w呢。一个常用的方法是找出使得... 阅读全文