欠拟合与过拟合概念和局部加权回归

underfitting欠拟合：

特征值太少，曲线就一条直线。像h(θ)=θ0+θ1x1

overfitting过拟合：

特征值太多，像h(θ)=θ0+θ1x1+θ2x2^2+θ3x3^3+……曲线就会很曲折

 

之前我们讲的几个算法都是参数学习算法，parametric learning algorithm，它有参数θs,现在我们要讨论非参数学习算法，这里的参数数目会随着训练集合的大小线性增加。

（

对于线性回归算法，一旦拟合出适合训练数据的参数θi’s，保存这些参数θi’s，对于之后的预测，不需要再使用原始训练数据集，所以是参数学习算法。    对于局部加权线性回归算法，每次进行预测都需要全部的训练数据（每次进行的预测得到不同的参数θi’s），没有固定的参数θi’s，所以是非参数算法。

）

 

来看我们的第一个非参数学习算法：locally weighted regression(局部加权回归)                                大概理解就是局部使用线性回归，比如现在你有个特定的x，你现在要预测它的price，如果是以前的参数算法比如linear regression那么我们会拟合出θ去使J（θ）最小化，然后返回和h(θ)。但如果用局部加权回归LWR，就只考虑特定x周围的点，局部用线性回归：

　　LWR： Fit θ to minimizePi w(i)(y(i) −θTx(i))2. 

     其中w(i) = exp(—   (x^(i)-x)^2    /   2T^(2))  它是权重来的，你看如果在w(i)中里面那个分子(x^(i)-x)很小的话，即离那个特定的x很近，那么w（i）就会接近e的零次方也就是1，如果(x^(i)-x)很大的话，这个w(i)就会接近0.也就是训练集中的x越接近特定那个x，对目标的贡献越大。

这玩意有点像正态分布但又不是，反正就是离x近的点权值会大，离x远的点权值小。，其图像也是个钟形的！！

  w（i）里面那个分母参数τ它是叫做tow，是什么波长函数，控制了权值随距离下降的速度。                   τ小相当于钟形很小，于是远离钟形中心（均值）的点下降得贼快；τ大相当于钟形很宽，远离钟形中心的点下降得也慢。

这个算法每predict一次，你你都要重新进行一遍拟合过程，然后在x处拟合出一条局部直线然后给出预测。