深度学习工程基础
欠拟合与过拟合
欠拟合是指模型在训练集、验证集和测试集上均表现不佳的情况
过拟合是指模型在训练集上表现很好，到了验证和测试阶段就大不如意了，即模型的泛化能力很差。
解决方法：
- 解决欠拟合的方法：
- 模型复杂化。
- 增加更多的特征，使用表达能力更强的输入数据。
- 调整参数和超参数。常用的 有学习率、学习率衰减等。
- 增加训练数据。
- 降低一些正则化约束，因为正则化约束是为了防止过拟合。
- 降低batchsize，因为过大的batchsize会降低梯度的随机性，使模型陷入局部最优。
2.解决过拟合的方法： - 增加训练集的数据量。
- 使用正则化约束，常用的有L1，L2正则化。
- 减少一些specific的特征，增加共性的特征。
- 降低模型的复杂度，减少神经网络隐藏层的数量。
- 使用dropout。
- 提前结束训练。
神经网络的基本思想
用机器模拟人脑神经网络的数学模型，它由多层神经元组成，属于从输入层经过隐藏层到输出层前向传播。
三要素：权重、偏差、激活函数。
