Datawhale X 李宏毅苹果书 AI夏令营:task3机器学习框架&实践攻略

在《深度学习详解》这本书的第二章中，作者详细讨论了机器学习实践中的一些重要概念和挑战，以及如何克服它们。以下是一些重难点及其详细分析：

1. 模型偏差与优化问题

   • 模型偏差：当模型过于简单，无法捕捉数据中的复杂关系时，就会出现模型偏差。例如，如果模型的函数集合不够丰富，即使找到了最优参数，模型的预测性能也可能不理想。
   • 优化问题：即使模型有足够的复杂度，优化算法（如梯度下降）可能无法找到全局最优解，可能会陷入局部最小值。作者建议通过增加模型的灵活性（如增加特征、使用深度学习模型）来解决这个问题。

2. 过拟合与欠拟合

   • 过拟合：模型在训练数据上表现很好，但在未见过的数据上表现差。这通常是因为模型过于复杂，学习了训练数据中的噪声。
   • 欠拟合：模型在训练数据上的表现就不好，通常是因为模型太简单，没有足够的能力捕捉数据中的模式。
   • 解决方法：增加数据量、使用数据增强、限制模型复杂度（如减少参数数量、使用正则化技术）、使用早停策略等。

3. 交叉验证

   • 为了选择一个好的模型，作者介绍了交叉验证的方法。这种方法通过将训练数据分成多个部分，轮流使用其中一部分作为验证集，其余作为训练集，来评估模型的泛化能力。
   • k折交叉验证：特别提到了k折交叉验证，这是一种系统的方法，可以减少因数据划分方式不同而导致的评估结果的方差。

4. 不匹配（Misalignment）

   • 这是指训练数据和测试数据的分布不一致。在这种情况下，即使模型在训练集上表现良好，也可能在测试集上表现不佳。
   • 解决方法：需要对数据的来源和分布有深入的理解，可能需要收集与测试数据分布更接近的训练数据。

5. 模型复杂度与损失的关系

   • 随着模型复杂度的增加，训练损失通常会减少，但测试损失在达到某个点后可能会增加，这是过拟合的迹象。选择合适的模型复杂度是避免过拟合和欠拟合的关键。

6. 实际应用中的挑战

   • 作者通过预测观看人数的例子，展示了在实际应用中可能遇到的挑战，如模型对某些特殊情况（如异常高峰）的预测能力不足。