神经网络学习-偏差和方差3

偏差

偏差出现通常是指训练的网络在训练集上准确率较低，模型欠拟合。但具体到不同模型如何判断是否欠拟合是需要和实际情况相结合。通常我们希望模型可以实现人类完成的任务，表现接近甚至优于人的表现，所以党模型准确率远远低于人的准确率时就是可以称为欠拟合，偏差较大。

\[bias^2=(\bar{f}(x)-y)^2 \]

方差

方差过大通常是指在使用不同测试集和进行预测时模型的表现差异很大，比如在训练集合上错误率为5%，但到了测试集合上就到了20%，这就是高方差的表现。

\[var(x)=E_D(f(x;D)-\bar{f}(x))^2 \]

解决办法

1. 高偏差
   • 扩大神经网络结构，增加神经单元和层次
   • 增加数据，增加训练量
   • 对数据进行处理，保证数据中准确性和特征多样性
   • 选择合适的模型，尝试更多模型
2. 高方差
   • 正则化处理神经网络
   • 增加数据
   • 归一化