【15】ML项目流程与正交化

结构化机器学习项目

 

一

ML项目流程

1，确立目标（确定开发/测试集 + 唯一最优化指标）

确定开发/测试集：开发/测试集应尽可能接近将来应用场景中的数据。

 

 

 划分数据集：开发集和测试集大小足以评估模型表现即可。

1、正交化
正交化：每次调整对某一性能进行针对性调试和优化，更快地发现影响效应，从而进行综合性的优化。

一个好的模型最好能够同时在训练集，验证集，测试集和实际应用中表现良好，如果：

情况 解决办法
在训练集上表现不好 尝试更大的神经网络或者使用更好的优化算法（如Adam）
在验证集上表现不好 尝试获取更多的训练数据或者加入正则化
在测试集上表现不好 同验证集优化或者使用更有代表性的验证集（如加大数量）
在实际应用上表现不好 没有使用合适的测试集或者代价函数的评估指标不合理，调整测试集或者代价函数