PSI
稳定度指标(population stability index ,PSI)
PSI = sum((实际占比-预期占比)/ln(实际占比/预期占比))
小于0.1 时候模型稳定性很高,
0.1-0.2 一般,需要进一步研究
大于0.2 模型稳定性差,建议修复。
PSI实际应用范例:
1)样本外测试
针对不同的样本测试一下模型稳定度,比如训练集与测试集,也能看出模型的训练情况,我理解是看出模型的方差情况。
2)时间外测试
测试基准日与建模基准日相隔越远,测试样本的风险特征和建模样本的差异可能就越大,因此PSI值通常较高。至此也可以看出模型建的时间太长了,是不是需要重新用新样本建模了。
3)模型监控
比如一个评分卡模型,按天为维度计算PSI,我们把模型刚上线第一天(设定为一个基期)的各分数段用户占比作为预期占比P1,之后每天的各分数段用户占比作为实际占比P2,这样根据公式就可以计算出每天的PSI值,通过观测这些PSI的大小和走势,从而实现对评分卡稳定性的监测。通常PSI会以日、周和月为维度进行计算,同时也会对评分卡模型中各个特征变量分别做PSI监测。

posted on 2020-09-09 09:28 happygril3 阅读(1056) 评论(0) 收藏 举报
浙公网安备 33010602011771号