欠拟合,过拟合及正则化

在设计Machine Learning系统时,我们很难从系统运行之前就得知系统的“复杂程度”。在线性回归中,我们可以将此问题等同为:使用几维参数,是否需要涉及更复杂的多项式,以及本文的一个新概念—Regularization Parameter。本文,将讨论Underfit,Overfit基本理论,及如何改进系统复杂度,使其能够使其在准确拟合现有训练样例的情况下,尽可能准确预测新数据。

 

Underfit(欠拟合)和Overfit(过拟合)

首先要确定的两个概念是Underfit(欠拟合)和Overfit(过拟合),也被称作high bias和high viarance。在表征线性回归模型的下面的三张图中,左图使用一条直线来作为模型,很明显无论如何调整起始点和斜率,该直线都不可能很好的拟合给定的五个训练样例,更不要说给出的新数据;右图使用了高阶的多项式,过于完美的拟合了训练样例,当给出新数据时,很可能会产生较大误差;而中间的模型则刚刚好,既较完美的拟合训练样例,又不过于复杂,基本上描绘清晰了在预测房屋价格时Size和Prize的关系。

对于逻辑回归,同样存在此问题,如下图:

解决欠拟合或过拟合的思路

1、增减模型的参数维度。如利用线性回归预测房屋价格的例子中,增加“卧室数量”,“停车位数量”,“花园面积”等维度以解决欠拟合,或相应的减少维度去解决过拟合。

2、增减多项式维度,比如将加入高阶多项式来更好地拟合曲线,用以解决欠拟合,或者降阶去处理过拟合。

3、调整Regularization Parameter。在不改变模型参数维度和多项式维度的情况下,单纯的调整Regularization Parameter同样可以有效改变模型对数据的拟合程度。

 

Regularization Parameter

在之前做逻辑回归的Octave仿真时,就用到了该参数,我们可以看到在计算Cost Function时,加入了一项theta'*theta*lambda/(2*m),此项即为调整项。整理后的逻辑回归Cost Function为如下形式:

 

线性回归的Cost Function也是类似形式:

 

无论是哪一种模型,lambda的取值对于能否改进模型的表现都有很重要的作用。试想如果lambda取值过大,那么cost function的取值就近似于Regularization Parameter的取值,即为一条直线了,这同样是一种Underfit,而如果lambda取值过小,则对于cost function而言没有任何作用。在下篇文章中,会详细讲解如何评估模型表现及选取lambda的值。

 

posted @ 2017-06-12 11:18 rhys_wang 阅读(...) 评论(...) 编辑 收藏
Flag Counter