week5-课后习题

1. dev和test要来自相同的分布，目的是为了保证模型优化（通过dev来调参，优化模型）和评估（通过test来评估模型的效果）的一致性，避免因为数据偏差导致结果不可靠。
2. 如果模型的偏差过大，可以尝试方法：训练更深的网络或者在每个隐藏层增加神经元的数量
3. 如果模型的方差过大，可以尝试方法：添加正则化参数或者增加训练集数量
4. 权重衰减是深度学习中常用的一种正则化技术，用于防止模型过拟合；核心思想是通过添加一个惩罚项来限制模型参数的大小，从而使得模型泛化能力更强；之所以叫权重衰减是因为权重在每次更新的时候都会额外减去一部分值。
5. 应用了反向随机失活技术，在训练阶段会随机关闭一些单元防止过拟合，但是在测试时不需要使用dropout，应该使用完整的网络，不需要关闭单元。
6. 如果增加keep_prob从0.5到0.6会导致：神经元被留下来的概率更大了，所以会减少正则化的影响力；另外学习到训练集的特征更多了有60%，也会降低训练集的误差
   7.归一化是为了加速训练，使得模型更快地找到最优参数