偏差和方差

偏差（Bias）：描述的是预测值的期望与真实值之间的差距

方差（Variance）：描述的是预测值的变化范围和离散程度，也就是离其期望值的距离

在吴恩达教授的机器学习课程中，讲述了偏差和方差对训练数据集以及验证数据集错误率的影响，高偏差通常会使训练数据集错误率高，产生欠拟合现象，高方差会使训练数据集错误率低，而验证数据集错误率高，产生过拟合现象。因此，在机器学习中，我们在降低偏差的同时，也要保证方差处于较低水平，即降低训练数据集错误率的同时，也要保证训练数据集和测试数据集错误率基本一致。

ps：另附知乎大神对偏差和方差神一般的解释23333

链接：https://www.zhihu.com/question/20448464/answer/24397161

想象你开着一架黑鹰直升机，得到命令攻击地面上一只敌军部队，于是你连打数十梭子，结果有一下几种情况:
1.子弹基本上都打在队伍经过的一棵树上了，连在那棵树旁边等兔子的人都毫发无损，这就是方差小（子弹打得很集中），偏差大（跟目的相距甚远）。
2.子弹打在了树上，石头上，树旁边等兔子的人身上，花花草草也都中弹，但是敌军安然无恙，这就是方差大（子弹到处都是），偏差大（同1）。
3.子弹打死了一部分敌军，但是也打偏了些打到花花草草了，这就是方差大（子弹不集中），偏差小（已经在目标周围了）。
4.子弹一颗没浪费，每一颗都打死一个敌军，跟抗战剧里的八路军一样，这就是方差小（子弹全部都集中在一个位置），偏差小（子弹集中的位置正是它应该射向的位置）。

方差，是形容数据分散程度的，算是“无监督的”，客观的指标，偏差，形容数据跟我们期望的中心差得有多远，算是“有监督的”，有人的知识参与的指标。