关于偏差和方差的笔记

截图来自吴恩达深度学习视频

 

 图1是一个近似线性分类器，欠拟合，高偏差；

图3过拟合，高方差；

图2介于二者之间，适度拟合。

将图1进行部分改动生成紫色线所示的分类器（如下图），其具有高偏差和高方差，接近线性分类器，欠拟合的同时，对某两个样本过拟合。

 

 

以下面的猫狗二分类问题为例：

假设训练集和验证集来源相同，基本误差较小

 

检验方差和偏差的一个指标是看训练集和验证集的错误率：

假如训练集错误率1%，而验证集错误率为11%，有可能是训练集过拟合导致的，——>高方差

假如训练集错误率15%，而验证集错误率16%，二者效果都不是很好，可能是欠拟合，——>高偏差

假如训练集错误率15%，效果不好，而验证集错误率30%，情况更糟糕，可能是欠拟合，而且训练集和验证集错误率相差太多，则在训练集上过拟合——>高偏差，高方差

假如训练集错误率0.5%，验证集错误率1%，表现较好——>低方差，低偏差

 

关于偏差和方差的概念性说明：偏差（Bias）与方差（Variance） - 知乎 (zhihu.com)