机器学习：正则化

**************************************

注：本系列博客是博主学习Stanford大学 Andrew Ng 教授的《机器学习》课程笔记。博主深感学过课程后，不进行总结非常easy遗忘。依据课程加上自己对不明确问题的补充遂有此系列博客。本系列博客包含线性回归、逻辑回归、神经网络、机器学习的应用和系统设计、支持向量机、聚类、将维、异常检測、推荐系统及大规模机器学习等内容。

**************************************

正则化

过拟合问题

拟合问题举例-线性回归之房价问题：

下图左中右各自是：欠拟合、合适的拟合、过拟合

什么是过拟合(Overfitting):

假设我们有许多的特征，那么所学的Hypothesis有可能对训练集拟合的很好，可是对于新数据预測的很差。

拟合问题举例-逻辑回归：

与上一个样例相似，依次是欠拟合。合适的拟合以及过拟合：

过拟合问题往往源自过多的特征，比如房价问题，假设我们定义了例如以下的特征：

 

对于训练集，拟合的会很完美：

所以针对过拟合问题，一般会考虑两种途径来解决：

成本函数

依旧从房价预測问题開始，这次採用的是多项式回归：

我们能够从之前的事例中看出，正是那些高次项导致了过拟合的产生，所以假设我们能让这些高次项的系数接近0的话，我们就能非常好的拟合了。

我们要做的就是在一定程度上减小θ3、θ4的值，这就是正则化的基本方法。

我们要做的便是改动代价函数，在当中θ3和θ4 设置一点惩处。这样做的话，我们在尝试最小化代价时也须要将这个惩处纳入考虑中，并终于导致选择较小一些的θ3和θ4。

这样在最小化Cost function的时候

正则化

參数θ1 θ2 θ3……θn取小一点的值，这种长处：

-“简化”的hypothesis。

-不easy过拟合。

对于房价问题：

对除 θ0以外的參数进行惩处，也就是正则化：

当中λ又称为正则化參数（Regularization Parameter）。依据惯例，我们不正确θ0 进行惩处。

经过正则化处理的模型与原模型的可能对照方下图所看到的：

对于正则化的线性回归模型来说，我们选择θ来最小化例如以下的正则化成本函数：

由于假设我们令λ的值非常大的话，为了使 Cost Function  尽可能的小，全部的θ的值（不包含θ0）都会在一定程度上减小。 但若λ的值太大了，那么θ（不包含θ0）都会趋近于 0，这样我们所得到的仅仅能是一条平行于 x轴的直线。

所以对于正则化。我们要取一个合理的λ的值，这样才干更好的应用正则化。

正则化线性回归  

正则化线性回归的代价函数为：

我们的目标依然是最小化J(θ)。因为正则化后的线性回归Cost function有了改变，因此梯度下降算法也须要对应的改变：

我们相同也能够利用正规方程来求解正则化线性回归模型，方法例如以下所看到的：

正则化逻辑回归模型

相同对于逻辑回归，我们也给代价函数添加一个正则化的表达式

要最小化该代价函数，通过求导，得出梯度下降算法为：

******************

作者：hao_09

时间：2015/8/11

文章地址：http://blog.csdn.net/lsh_2013/article/details/47424941

******************