文章分类 - AI-4-6模型评估
摘要：1 作用 模型评估一般有两个目的： 1. 检验特征工程的工作，查看所选择的特征是否有利于提升模型的性能。 2. 检查参数调整的工作，通过调整模型参数，找到最佳参数使得模型的分类、预测性能最佳。 特征工程需要在机器学习的应用中加深理解一个完整的特征工程、机器学习的处理过程是： 应用机器学习的过程包含许
阅读全文
摘要：在我刚开始转做 AI 产品经理的时候，遇到过这么一件事儿，我们的用户年龄预测模型训练时候 的 KS 值（模型中用于区分预测正负样本分隔程度的评价指标）很高，但是 OOT 测试的时候 KS 还不足 10。当我拿着结果去找算法同学沟通的时候，他就说了一句，“可能是过拟合了，我再改改”。 也有同学提问说，
阅读全文
摘要：今天，我们来讲一讲算法模型监控指标体系的建设。 算法模型的监控指标体系（后面简称监控体系），就是将业务数据进行采集，同时用可视化图表展现给用户，并且提供相应的告警功能。一般来说，当业务线初建的时候，我们可以不用考虑太多监控体系的需求，因为我们需要把精力放到怎么让业务“活下去”。但是当业务“活”下来之
阅读全文
摘要：模型稳定性指的是模型性能的稳定程度，只有稳定性足够好的模型才能通过上线前的评估，而且上线后，我们也要对模型稳定性进行观测，判断模型是否需要迭代。在实际工作中，我们会用 PSI 来评估模型的稳定性。 这节课，我们就借助一个信用评分的产品，来详细说一说 PSI 是什么，它该怎么计算，以及它的评估标准。
阅读全文
摘要：今天，我们借助一个股价预测产品，来学习回归算法常用的性能评估指标。 股票价格预测模型或者说算法不仅是金融界一项重要的研究课题，也经常和我们的直接经济利益相关，因此一直备受关注。 为了能够准确预测股票未来的价格，很多公司和机构不断尝试开发了很多股票价格预测的模型。但是，对于用算法来进行股票价格的预测这
阅读全文
摘要：上节课，我们学习了混淆矩阵，以及准确率、精确率和召回率这 3 个基础指标的计算。这节课，我们依然会借助上节课的信用评估模型，来学习二分类模型中常用的两个综合性指标，KS 和 AUC。 构建 KS 和 AUC 的基础：TPR 和 FPR 首先，我们来看两个基础指标：TPR 和 FPR，它们是计算 KS
阅读全文
摘要：分类模型的性能评估指标有混淆矩阵、KS、AUC等等。 什么是混淆矩阵？ 混淆矩阵是最基础的性能评估指标，通过它，我们可以直观地看出二分类模型预测准确和不准确的结果具体有多少，而且像是KS、AUC这些高阶的评估指标也都来自于混淆矩阵。 比如说，对信用评分这样典型的分类问题进行评估，其实就是要知道一个人
阅读全文
摘要：整个 AI 项目的落地过程中都有着模型评估指标的身影。在模型设计阶段，AI 产品经理在编写需求的时候，除了需要写清楚产品的业务指标，也要说明通过模型来解决什么样的问题，模型应该达到的标准是什么，算法工程师会根据这个标准进行模型开发。开发完成之后，AI 产品经理还需要对模型的结果进行验收，来决定模型是
阅读全文
摘要：你在工作中推进 AI 相关产品需求的时候，是不是经常会遇到这样的问题。 在算法模型上线阶段，你拿不准到底要不要验收算法同学交付的模型，就算你想要验收，你也不知道该怎么去评估模型的好坏，只能算法同学说什么就是什么，甚至对算法同学说的名词都没有概念，非常被动。 针对这个问题，这节课，我想和你分享一个我曾
阅读全文
浙公网安备 33010602011771号