偏差方差分解

偏差方差分解 (误差分解)

先引入一个问题: Machine Learning 与 Curve Fitting 的区别是什么?1

Curve Fitting 是使用所有的数据拟合一条曲线; 而 Machine Learning 是采用真实世界中采样的一小部分数据,并且我们希望我们的模型能够对于未知数据有不错的泛化性能.因此涉及到Bias-Variance的权衡.

学习算法的预测误差, 或者说泛化误差(generalization error)可以分解为三个部分: 偏差(bias), 方差(variance) 和噪声(noise). 在估计学习算法性能的过程中, 我们主要关注偏差与方差. 因为噪声属于不可约减的误差 (irreducible error).

下面来用公式推导泛化误差与偏差与方差, 噪声之间的关系.

符号 涵义
\(\mathbf{x}\) 测试样本
\(D\) 数据集
\(y_{D}\) \(\mathbf{x}\) 在数据集中的标记
\(y\) \(\mathbf{x}\) 的真实标记
\(f\) 训练集 \(D\) 学得的模型
\(f(\mathbf{x}; D)\) 由训练集 \(D\) 学得的模型 \(f\)\(\mathbf{x}\) 的预测输出
\(\bar{f}(\mathbf{x})\) 模型 \(f\)\(\mathbf{x}\)期望预测 输出

泛化误差

以回归任务为例, 学习算法的平方预测误差期望为:

\begin{equation}
Err(\mathbf{x}) = E\left[\left( y - f(\mathbf{x}; D) \right)^2\right]
\end{equation}

方差

在一个训练集 \(D\) 上模型 \(f\) 对测试样本 \(\mathbf{x}\) 的预测输出为 \(f(\mathbf{x}; D)\), 那么学习算法 \(f\) 对测试样本 \(\mathbf{x}\)期望预测 为:

\begin{equation}
\overline{f}(\mathbf{x}) = E_D\left[f\left(\mathbf{x}; D\right)\right]
\end{equation}

上面的期望预测也就是针对 不同 数据集 \(D\), \(f\)\(\mathbf{x}\) 的预测值取其期望, 也被叫做 average predicted.

使用样本数相同的不同训练集产生的方差为:

\begin{equation}
\rm{var}(\mathbf{x}) = E_D\left[\left( f(\mathbf{x}; D) - \overline{f}(\mathbf{x}) \right)^2\right]
\end{equation}

噪声

噪声为真实标记与数据集中的实际标记间的偏差:

\begin{equation}
\varepsilon^2 = E_D\left[ (y_D - y)^2 \right]
\end{equation}

偏差

期望预测与真实标记的误差称为偏差(bias), 为了方便起见, 我们直接取偏差的平方:

\begin{equation}
\rm{bias}^2(\mathbf{x}) = \left( \overline{f}(\mathbf{x}) - y \right)^2
\end{equation}

对算法的期望泛化误差进行分解:

bias-variance-proof

上面的公式2蓝色部分是对上面对应的等价替换, 然后对其展开后, 红色部分刚好为 0.

对最终的推导结果稍作整理:

bias-variance

至此, 继续来看一下偏差, 方差与噪声的含义 3:

偏差、方差、噪声

  1. 偏差:度量了模型的期望预测和真实结果的偏离程度,刻画了模型本身的拟合能力
  2. 方差:度量了同样大小的训练集的变动所导致的学习性能的变化,即刻画了数据扰动所造成的影响
  3. 噪声:表达了当前任务上任何模型所能达到的期望泛化误差的下界,刻画了学习问题本身的难度

偏差-方差窘境(bias-variance dilemma)

为了得到泛化性能好的模型,我们需要使偏差较小,即能充分拟合数据,并且使方差小,使数据扰动产生的影响小。但是偏差和方差在一定程度上是有冲突的,这称作为偏差-方差窘境。

下图给出了在模型训练不足时,拟合能力不够强,训练数据的扰动不足以使学习器产生显著变化,此时偏差主导泛化误差,此时称为欠拟合现象。当随着训练程度加深,模型的拟合能力增强,训练数据的扰动慢慢使得方差主导泛化误差。当训练充足时,模型的拟合能力非常强,数据轻微变化都能导致模型发生变化,如果过分学习训练数据的特点,则会发生过拟合。

  • 针对欠拟合,我们提出集成学习的概念并且对于模型可以控制训练程度,比如神经网络加多隐层,或者决策树增加树深。
    增加模型的迭代次数;更换描述能力更强的模型;生成更多特征供训练使用;降低正则化水平。
  • 针对过拟合,我们需要降低模型的复杂度,提出了正则化惩罚项。
    扩增训练集;减少训练使用的特征的数量;提高正则化水平。

随着模型复杂度的提升, 偏差逐渐减小, 方差逐渐增大. 最佳的模型复杂度是在 Total Error 最小的时候, 该点导数为0. 由于 Err=variance+bias+noise, 所以在拐点处:4

\[ \newcommand{\dif}{\mathop{}\!\mathrm{d}} \frac{\dif\text{Bias}}{\dif\text{Complexity}} = - \frac{\dif\text{Variance}}{\dif\text{Complexity}} \]

给出了寻找最优平衡点的数学描述。若模型复杂度大于平衡点,则模型的方差会偏高,模型倾向于过拟合;若模型复杂度小于平衡点,则模型的偏差会偏高,模型倾向于过拟合。

bias-variance-tradeoff

Bias-Variance Tradeoff 理论意义

  • 能够让我们更好地认识模型的复杂度, 指导我们对模型的改进方向.
  • 偏差-方差分解实用价值很有限. 偏差和方差并不能够真正的被计算,因为我们不知道数据的真实分布. 偏置-方差分解依赖于对所有的数据集求平均,而在实际应用中我们只有一个观测数据集。

K折交叉验证与Bias-Variance关系

为什么K-fold Cross Validation中的k值会影响偏差和方差呢?

K折交叉验证重复k次地把数据集分成训练集和测试集,K值越大,每次划分的训练集就越大,估计模型的期望\(E[\hat f]\)就越接近整个数据集的真实模型f,因此模型偏差就越小。 5

参考资料:


  1. http://www.learnopencv.com/bias-variance-tradeoff-in-machine-learning/

  2. 偏差与方差

  3. 《机器学习》, 周志华, 2.5 节偏差与方差.

  4. Understanding the Bias-Variance Tradeoff

  5. 机器学习中的Bias(偏差),Error(误差),和Variance(方差)有什么区别和联系?

posted @ 2018-07-22 22:08  康行天下  阅读(...)  评论(... 编辑 收藏