过拟合与欠拟合

1. 定义

欠拟合的偏差过大，过拟合的方差过高

上图分别为：欠拟合，正常，过拟合
图片中的是多项式回归任务。图一左边的应该是欠拟合，没有将x与o正确分类，中间的是正常的，右边的是过拟合，原因在与x的n次方中的n这个超参数设置太大，导致对训练数据过于拟合，此时应引入正则化项来惩罚次数较高从而导致过大的系数。图二同理。

2. 方法

解决过拟合的方法：
1、增加训练集样本

2、选择更为合适的特征

3、正则化
正则化的作用是让你保留所有的特征，但防止某些权重过大，这有时会导至过拟合

3. 线性回归的正则化

以线性回归为例，引入正则化的损失函数：

可以想象，当\(\lambda = 0\)时，会发生过拟合；当\(\lambda\)非常大时，会使\(w_1,w_2...\)等均趋于0，拟合出y=b的水平直线。所以选择\(\lambda\)的大小需适中

一般不正则化乘法b，因为影响不大，但是也可以

计算时，式子也会发生变化：

将其代入，得：

4. 逻辑回归的正则化

与线性回归差不多：