P36 过拟合与欠拟合

http://bilibili.com/video/BV184411Q7Ng?p=36

 

 

                                                       图1(欠拟合，习得的特征太少了)

 

 

 

                                                     图2(过拟合，习得的特征太多了)

 

 

 

 

 

 

 

 

 

 

 

 

 注解：

• 欠拟合的特点是训练和测试误差都大。
• 过拟合的特点是训练误差小，测试误差大。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

注解：

• 2.0和10.0代表的是均方误差，即过拟合的特点是训练集正确率很高，测试集正确率不高。
• 交叉验证不能解决过拟合，只能检测过拟合。

交叉验证的解释：

http://jianshu.com/p/a2f26022a21d

 

 

 在随机梯度下降的过程中，更新导致曲线波动大的高次幂前面的权重，让其趋近于0，这就是正则化，这就是使用正则化的方法解决函数过拟合。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

注解：

•  可以看到正则化力度大的时候，权重明显是变小了。
• L2正则化使得高次幂项的权重不断趋近于，但是不会等于0.