欠拟合还是过拟合的判断

　　不管是做回归还是做分类，我们初次得到的模型常常都不是非常合理，模型本身是

过拟合还是欠拟合对进一步修正模型有重要的指导意义，下面我们来谈谈如何判断一个

模型是欠拟合还是过拟合。

　　首先，我们明确一下什么是过拟合和欠拟合。

　　欠拟合（bias/underfit）如最左图所示，指得到的模型对training set拟合不佳。

　　过拟合(variance/overfit)如最右图所以，指得到的模型过度拟合training set。

　　判断当前模型最简单的方式是将其对training set的error和cross validation set的error

进行比较。（两个都是二范数的error）如图：

　　当cross validation error (Jcv) 跟training error(Jtrain)差不多，且

Jtrain较大时，当前模型更可能存在欠拟合。

　　当Jcv >> Jtrain且Jtrain较小时，当前模型更可能存在过拟合。

注：一般选data set的60%作为training set, 20%做cross validation set, 

20%做testing set。