智能风控

智能风控--测试
 
PART 01
风险管理
PART 03
风控测试
PART 02
风控体系
 
风险管理
01
 
风险管理类型划分
风险
专业性、团体性、
变化性
意愿、主体、
组织
授信申请、支用
虚假信息、异常行
为、资金去向不明
普遍性、变化性、
长期性
意愿、能力
准入、贷前、贷
中、贷后后
逾期、违约、信
变化
 
诈风险信用风险管理环节的组合顺序
准入
反欺
贷前
贷中
贷后
这一阶段的主要目标是筛选合格用户,确保没
有潜在的高风险用户进入系统。主要是防范不
规或风险较高的用户
该阶段的目标是防止和检测任何形式的欺诈行
为。它是防止损失的第一道防线
该阶段主要是对申请贷款的用户进行信用评估,
确保贷款决策的准确性,降低违约风险
贷款发放后,需要实时监控借款人的还款状况,
发现潜在的违约风险
阶段主要是追踪贷款的偿还情况,及时采取
措施回收欠款,防止坏账和信贷损失
第一阶段第二阶段
第三阶段第四阶段第五阶段
身份验证
数据
信用
反欺诈检查
分析
设备纹识别
机器学
信用
收入验证
债务比率分析
分析与大
数据建模
款行为监
大数据
动态信用
逾期催收
违约预测
法律手段
 
诈风险概述
诈风险的
意愿
第一方欺诈,是指借款人主动发起的欺诈
为;第三方欺诈是指借款人在身份被冒
用或者账户被盗用的情况下,被动发生的
诈行
识别
目前各大金融机构普遍采用四要素验证和
活体识别这两个技术手段,但是欺诈分子
诱导行为需要其他手段识别
防范
目前业界常用的手段是针对首支首逾和
羊毛党这两类特定客群进行识别
诈风险的
主体
账户级风险管理主要关注的是用户账户本
身的风险;交易级风险管理主要关注的是
单次交易的风险,评估每一笔交易是否存
在欺诈、违约或其他风险
识别
目前各大金融机构普遍采用四要素验证和
活体识别这两个技术手段,但是欺诈分子
诱导行为需要其他手段识别
防范
第一方:首支首逾、“羊毛党等第一方欺
诈案件,在核实无误的情况下,可以将账
户或者设备拉入黑名单;第三方:实时采
集客户每笔交易的地理位置、设备属性和
操作行为等数据,拦截、召回
意愿 主体 组织
见的欺诈类型从组织上又可以分为个人
团伙两种。传统的反欺诈策略和模型多
针对个人案件,而团伙案件一直是反欺诈
员比较头疼的问题
识别
身份证、手机号、银行卡号、设备指纹、
地理位置、WiFiMAC地址等属性,构
建客户与客户之间的关系,深挖背后的团
组织;社区发现和标签传播等算法,划
团伙并且量化个人的潜在欺诈风险
防范
联图谱的应用方式有很多,简单的可以
直接制定规则,提取客户之间的聚集度,
识别中介申请和羊毛党”;复杂的可以利
用社区发现和标签传播等算法,智能地划
团伙并且量化个人的潜在欺诈风险
诈风险的
组织
展望
诈风险的
展望
展望
目前在欺诈风险领域,有标签的数据量很
少,导致机构对于欺诈案件的感知较为被
动,人工调查多集中在事后,已经造成的
损失难以追回。不过随着反欺诈技术的进
步,例如样本增强、无监督学习等智能算
法已经被投入实际业务场景中,使得机构
对于欺诈分子的识别更加主动,客户的个
人信息和财产也得到了更全面的保护
 
信用风险概述
违约
风险
信用
级下降
部分
违约后的
回收风险
白名
准入
贷前
识别
贷中
管理
贷后
催收
利用借款人或公司的信用
史、财务状况等因素,计算
信用评分(例如FICO分数)
预测其违约可能性
根据借款人的信用风险,金
融机构会对不同的贷款收取
不同的利率。信用风险较高
的借款人将承担更高的利率
贷款申请的审查,包括
对借款人收入、资产、负债、
信用历史等全面评估,确保
贷出的资金能够安全回收
电话催收、信函催收、面谈
催收等手段,对于无法还款
的借款人,通过法律手段、
资产处置等方式追偿欠款,
尽可能降低损失
信用风险管理的
第一道门槛
良好的贷前识别体系能够规
70%以上的潜在
贷中管理主要是监控和调整,对
贷前识别的结果进行查漏补缺
最大限度减少经济上的损失
白名单的制定
政策要求
风控能力
用户画像
贷前识别模型
申请评分卡
价值模型
贷中管理策略
一次性额度
循环额度
智能催收
早期催收评分卡
中期催收评分卡
后期催收评分卡
 
整体利润最优
差异化定价
风险评估
3
2
1
风险管理的重要性
联网金融行业发展至今,早期头部机构的
流量红利已经消失殆尽,取而代之的是互联
时代下半场的精细化运营。在这一阶段,
风险管理就显得尤为重要。在传统认知中,
风控人员只是一味踩刹车”,大家普遍认为
控制坏账率就是风控人员的全部工作。其实
防范坏账发生只是风控人员工作的一部分,
风控的本质应该是在坏账率满足条件的情况
下使得整体利润最优,风控人更像是一个
控制节拍器风险管理应
该是从风险评估、差异化定价最终实现整
体利润最优的三级火箭模式
背景
 
整体利润最优
差异化定价
风险评估
3
2
1
风险管理的重要性
联网金融行业发展至今,早期头部机构的
流量红利已经消失殆尽,取而代之的是互联
时代下半场的精细化运营。在这一阶段,
风险管理就显得尤为重要。在传统认知中,
风控人员只是一味踩刹车”,大家普遍认为
控制坏账率就是风控人员的全部工作。其实
防范坏账发生只是风控人员工作的一部分,
风控的本质应该是在坏账率满足条件的情况
下使得整体利润最优,风控人员更像是一个
控制节拍器,风险管理应
该是从风险评估、差异化定价到最终实现整
体利润最优的三级火箭模式
背景
对于借款人风险的评估,主要还是从
综合欺诈和信用两个方面入手。对于
存在欺诈风险和高信用风险的客户,
平台一般不授予其贷款额度;对于信
风险较低的客户,风控人员会利用
请评分卡量化其风险水平,将不同
的人匹配到不同的区间内,实现风险
层的目的,指导下一步的差异化定
 
整体利润最优
差异化定价
风险评估
3
2
1
风险管理的重要性
联网金融行业发展至今,早期头部机构的
流量红利已经消失殆尽,取而代之的是互联
时代下半场的精细化运营。在这一阶段,
风险管理就显得尤为重要。在传统认知中,
风控人员只是一味踩刹车”,大家普遍认为
控制坏账率就是风控人员的全部工作。其实
防范坏账发生只是风控人员工作的一部分,
风控的本质应该是在坏账率满足条件的情况
下使得整体利润最优,风控人员更像是一个
控制节拍器,风险管理应
该是从风险评估、差异化定价到最终实现整
体利润最优的三级火箭模式
背景
定价模型直接决定了产品最终的利润。
如果机构对于借款人都给予相同的额
度和利率,势必会造成好客户额度过
低、坏客户额度过高的情况,又由于
坏客户的逾期概率一定高于好客户,
则会导致在逾期人数相同的情况下,
该机构会损失更多的利润。同时,由
于好客户一定是市面上所有互联网金
融机构的目标客群,如果一个机构给
出的额度和利率吸引力不足,这些好
户必定会流向其他平台,这对于平
台来说是一种更大的损失
 
整体利润最优
差异化定价
风险评估
3
2
1
风险管理的重要性
联网金融行业发展至今,早期头部机构的
流量红利已经消失殆尽,取而代之的是互联
时代下半场的精细化运营。在这一阶段,
风险管理就显得尤为重要。在传统认知中,
风控人员只是一味踩刹车”,大家普遍认为
控制坏账率就是风控人员的全部工作。其实
防范坏账发生只是风控人员工作的一部分,
风控的本质应该是在坏账率满足条件的情况
下使得整体利润最优,风控人员更像是一个
控制节拍器,风险管理应
该是从风险评估、差异化定价到最终实现整
体利润最优的三级火箭模式
背景
差异化定价是一种比较理想的情况,
其中忽略了一些实际工作中存在的变
量,这就要求专业的风控人员具备让
整体利润最优的能力,也就是风险管
理流程中的第三级火箭”。在实际操
作中,客户对于贷款额度通常比较敏
感,额度过低没有吸引力会导致客户
的支用意愿不强,减少机构的收入;
额度过高超过借款人还款能力又会增
大客户逾期的风险,给机构带来不必
要的损失。因此,机构的整体利润会
随着额度的增加先增大再减小,如何
找到额度的最优解,是风控人员需要
解决的实际问题
 
风控体系
02
 
联网金融风控体系
贷前
授信 风控部
内部
数据
外部
数据
风控系
统开发
数据
信息
策略
体系
AI
联网金融风控体系
主要由三大部分组成
数据信息:包括用户基本信息
户行为信息、用户授权信息、外
部接入信息。
策略体系:包括反欺诈规则、准入
规则、运营商规则风险名单、网
贷规则
人工智能(AI)模型:包括欺诈检测
模型、准入模型、授信模型、风险
定价、额度管理、流失预警、失
修复
贷模型体系
 
我司风控系统开发三大板块
 
智能风控详细体系架构
 
我司数据层详解
1.首先是数据层。数据是所有智能风控的基础,数据中
包含识别风险的信息,智能风控数据层包含不同类型
的数据。
2.其次数据处理上,按照处理的实效性划分,可以分为
实时计算和离线计算。
3.然后数据处理的步骤通常分为数据采集、数据校验、
数据清洗、数据存储、标准输出和数据监控。
4.再次标准化输出是将数据处理的结果对外提供使用接
口或者其他的查询服务。
5.最后,数据监控是对整个数据处理结果的过程进行监
预警,及时发现数据层的应用异常。
 
我司特征层详解
1.特征提取的方法包括基于统计聚类的RFM 方法,基
时序特征的提取方法,基于机器学习NLP 图特征
图算法等特征提取方法
2.源数据分析和清洗是对原始数据的流转、时效、质量
进行分析并清洗处理成标准格式
3.特征设计和生成是根据不同特征提取方法设计并生成
特征,比如RFM 特征方法中需要选取特征汇总的不
维度、汇总的对象以及汇总的计算方式
4.特征评估是对特征效果进行分析,选择效果好、稳定
性高的特征
5.特征回溯是对历史数据进行回测,通常服务于特征提
取后的建模场景
6.特征监控是对已经进入使用阶段的特征进行持续监控
以确保有效性和稳定性
 
我司模型层算法详解
1.策略环节通常需要设计一套决策流程,在流程中的每
一个环节设置决策规则。这些规则包括直接使用特征
制定的规则和基于模型制定的规则。
2.过规则实现业务流程的通过或者拒绝、差异化的分
流等动作。
3.在金融风控贷前场景中,通常的决策包括欺诈识别、
信用风险识别以及其他一些准入拦截。对于通过的客
户在进行差异化的审核操作、差异化的授信额度决策、
差异化的定价政策等等。
4.在策略制定的过程中,可以选择多种的决策算法进行
支持的,包括决策树,异常点检测等等算法来支持我
们制定决策规则,用最优化的算法来支持我们进行最
优化决策点的选择。
 
我司决策应用层详解
1.策略环节通常需要设计一套决策流程,在流程中的每
一个环节设置决策规则。这些规则包括直接使用特征
制定的规则和基于模型制定的规则。
2.过规则实现业务流程的通过或者拒绝、差异化的分
流等动作。
3.在金融风控贷前场景中,通常的决策包括欺诈识别、
信用风险识别以及其他一些准入拦截。对于通过的客
户在进行差异化的审核操作、差异化的授信额度决策、
差异化的定价政策等等。
4.在策略制定的过程中,可以选择多种的决策算法进行
支持的,包括决策树,异常点检测等等算法来支持我
们制定决策规则,用最优化的算法来支持我们进行最
优化决策点的选择。
 
我司决策交互流程
1.数据平台主要是为特征平台提供数据的输入,同时,
它也支持各类样本数据、分析数据的提取。
2.特征平台主要是为模型平台和决策引擎提供特征计算
输入。
3.模型平台主要是为决策引擎提供模型计算结果的输入。
4.决策引擎主要是基于特征平台和模型平台的结果进行
决策,几个工具平台之间的相互依赖和配合,形成了
智能风控全流程的一个闭环
 
智能风控体系全景图
金融风控领域核心术语的系统化解析
全流程管理
贷全流
贷前
贷中
贷后
准入
反欺
评分卡
预警
额度
催收
回流
决策体系
架构
统分层
决策引擎
核心组件
数据
特征
策略
决策
规则解析
工作流引
版本控制
决策
体系架构
核心
标与运维
核心指
与运
风险指标
审批指标
统运维
不良率
NPL
迁徙率
Vintge
分析
动批贷
人工复核
批核率
参数化管
实验框架
术语7
贷前贷中贷后是什
么?
宽限期M1、呆账是
么?
黑名准入、欺、多
头是什么
规则规则集是什
么?
绝对命中、相对命中、自
动批贷人工批贷是什
么?
版本、定价决策、引擎、
计费数据、特征
策略决策层是什么
路由配置、参数又是什
么?
 
风控测试
03
 
智能风控体系测试全景
数据的完整性、准确性和安全性
特征的有效性、稳定性和可解释性
模型的准确性、鲁棒性和可解释性
规则的正确性、策略的效果和实时性
平台的稳定性、可扩展性和服务质量
数据完整性 数据准确性 数据一致性
数据安全性 数据实时性
特征有效性 特征稳定性 特征可解释性
特征准确性 特征质量
模型准确性 模型鲁棒性 模型可解释性
模型性能监控
规则正确性 策略效果 实时性
策略灵活性
平台稳定性 平台可扩展性 平台服务质量
平台安全性
数据
以下为智能风控体系测试的全景框架,综合技术验证、业务场景与行业实践,涵盖关键模块与创新实践
特征
模型
平台
策略
 
智能风控体系数据层测试详解
测试
完整性 准确性 一致性 安全性 实时性
确保数据无丢失,
字段不缺失
确保数据内容正确,
错误
确保跨系统、跨模
块数据一致
确保数据脱敏、访
问权限控制
数据采集、处理、流转
过程在规定时间内完成
数据采集数据存储层 数据处理层 数据服务层 数据应用层
多源异
构兼容
实时
性要求
能力
数据源
兼容性
实时性
验证
断点
传能力
异常数
处理
确保多源异构数据(结构化/结构化/结构化的完整
实时稳定采集
级存
储策略
跨域
容灾
加密
体系
保障数据存储的安全性、可靠性、可扩展性
读写
性能
加密有
效性
容灾
恢复
储成
优化
混合
算模式
数据血
缘追踪
资源
弹性
确保数据加工逻辑正确性与计算效能,支撑高质量特征生
ETL
辑验证
计算资
源效率
数据
处理
版本兼
容性
缓存
策略
流量
治理
能力
缓存
穿透
跨地域
访问
版本灰
发布
提供高可用、低延迟的数据服务,支撑
实时决策
离在
一致
动态
可解
释性
验证数据驱动的风控决策有效性实现业
务价值闭环
特征漂
检测
模型效
验证
业务指
标对齐
可解
审计
结构
确定
维度
明确
制定
方案
厘定
工具
执行
测试
结果
验收
选择合适的工具 部署和配置 环境 数据准脚本准
step1:身份认证和权限 step2:数据脱敏 step3:安全监控和审计
 
智能风控体系特征层测试详解
特征有效性
特征稳定性
特征可解释性
特征准确性
特征质量
归零 解构 重构 校
特征的本质是什么
特征是从原始数据中提取的风险信
号,是风险模式的数学表达
测试的根本目标是什么
确保特征具备有效性(真实反映风
)、稳定性时空一致性)、可解
性(符合业务逻辑)、准确性(特征
逻辑与业务定义完全一致)、质量
(数据完整、一致、及时且安全
如何保障业务逻辑的算子业务逻辑
的准确性?
黄金数据集、公共方法的准确性、算
子代码覆盖率业务场景覆盖率
如何保障离在线数据的一致性
提高测试样本量、离线在线双跑比
如何保障特征层的业务连续性
混沌工程
数据输入层头数据质量(缺失
率、异常
特征加工逻辑正确性(公式
vs 业务定义
特征存储层一致性(离线/线特
值差异≤0.01%
特征服务层发能力(支撑10
QPS查询
特征应用层业务效果A/B测试坏
账率变化)。
优化测试路径与工具链
去冗余设计
动化校验:使用自动断言数据质
量,替代人工抽
智能监控:通Evidently.ai实时计
PSI值并触发告警
混沌工程:注入数据管道故障(如
Kafka宕机),验证降级策略
工具链整合
黄金数据集对比
量化验证与闭环反馈
量化验证
有效性稳定性、可解释性、准确
性、质量
闭环反馈
测试发现问题
根因定位(如特征加工逻辑错误
策略调整(如下线低效特征
效果验证监控指标恢复
更新基线(如优化PSI阈值
 
智能风控体系模型层测试详解
测试目标
模型准确性
模型鲁棒性
模型可解释性
模型性能监控
输出结果
验证
向离线特征表和在线特征服务发送相同请求,对比输出值
验证不同数据存储格式(如Parquet vs Protobuf)的兼容性
定期备份特征快照,对比历史版本与当前版本的数据分布
检测因代码变更导致的隐性逻辑错误(如时间窗口定义修改)
每次代码变更后,使用黄金数据集执行全量回归测试。
验证新增特征是否影响存量逻辑(如特征间耦合性测试)
计算过程
验证
对比不同精度计算的结果(如浮点数四舍五入规则
验证聚合计算(如SUMAVG)与原始数据的一致性
注入异常(如除零、空、超大数),验证默认处理逻辑
测试降级策略(如特征计算失败时返回默认值
对比实时计算与离线批量计算的结果差异(如流式计算截断误差
测试不同计算引擎(如Spark vs Flink)的结果一致性
转换逻辑
验证
构造黄金数据集(Golden Dataset),包含已知输入与预期输出
测试常规场景(如30天逾期次数=3”计算逻辑
测试时间窗口边界如第3023:59:59的交易是否计入
验证枚举值覆盖性如用户职业类型是否完整映射
使用代码覆盖率工具(如JaCoCo检查所有if-else分支是否被测试覆盖
验证多条件组合(如户年龄>60且收入<5000”是否触发特定规则
输入数据
验证
检查核心字段(如用ID、交易时间)的缺失率
验证时间窗口覆盖性如近30天数据是否完整)
跨数据源比对关键字段(如手机号在用户表与运营商数据是否一致
检查时间戳时区统一性(如UTC时间转换验证
人工抽样复核高风险样本(如大额交易记录的金额时间是否真实
逻辑反推验证(如通GPS定位反推用户常驻城市是否合理
 
智能风控体系策略层测试详解
测试点测试方法
规则正确性
(核心重点)
策略效果
实时性
策略灵活性
智能风控模型层的核心测试目标包括规则正确性、策略效果、实时性、策略灵活性,四者共同支撑
控系统的可靠性与业务价值
路径覆
测试
边界值
分析
规则冲
检测
A/B
测试
影子
模型
压力
测试
流式
验证
热更新
测试
测试
动化部署流水线:通过Jenkins+GitLab CI
现策略分钟级上线。
资源优化:通过缓存(Redis)与流式计算
Flink)降低实时计算成本。
灰度发布:分阶段上线策略(如5%流量试跑),
减少全量风险。
影子模型:并行运行新旧策略但仅记录结果,
避免直接业务干扰。
动化规则校验:使用工具自动化生成测试用
例,覆盖所有if-else分支。
黄金数据集复用:构建高覆盖率测试数据池
减少重复造数成本。
成本领先集中化战略
主要风险
术壁垒
业务理解差异
环境差异
资源的局限
前期资源投入
习成增加
过成本集中化战略在
竞争中获胜
这里最理想的策略是规则正确
测试,主要采取的手段是
动化规则校验和黄金数据集
服用
术壁垒
数据敏感和数据的
使用权限
 
智能风控体系特征测试
控特征测试金融风险管理的
核心环节,通过验证特征定性、
准确性,确保控模型精准识别
风险,平衡风险与收益,实现
。它既是风险识别"
",也是业务"引擎"
保障机构在合前提下最大化
效益。
背景
统一离在线
离在线比对
线测试
线测试 HiveSql
线
手工测试动化
Python+HiveSql
AviatorScript
智能化
AviatorScript
Python+HiveSql
hive
自适
AviatorScript
AviatorScript
Python
仿真测试
阶段
测试方式
特征测试
 
智能风控体系特征测试
横向
赋能
键组合覆盖
覆盖
异常覆盖
果符合业务
规则
数据
验证算子 特征测试
特征
测试
框架 所有键输
被覆盖且
果符合
入空
出确定性
障碍 数据复杂度高、安全合规 验算子的编写、可复用性
特征
的准确性
1.30个离线/线变
测试由原来的6
减到3
2.线化完全实现
实现变测试100%
3.线线变量由原来
的每周平均1-3个不
一致,到在每个月
平均最多1
4.线测试样本由原来
15个到目前的
10000+
成果展示
1、数据构造基座
2、动态mock平台 1、特征测试基座
2、规则校验算子
黄金数据集合
智能数据基座
AviatorScript
离在线统一脚本引擎
 
智能风控体系策略测试
策略测试痛点
待解决的问题
效率瓶颈 质风险 协同成本
版本
迭代快
策略
度高
用例
时长
Bug逃逸
规则
覆盖不全
异常
景缺失
业务
感知度低
Bug定位
成本高
用例可
性差
效能不足问题
具体化
效能不足问题
原因
效能不足问题
解决方法
解决策略测试质/速度/成本
策略测试
效能不足
问题
用例
逻辑
笛卡
异常
缺陷修复
Bug定位
验证
需求
策略冲
缺陷定位困
测试设计阶
测试执
测试维护阶
策略测试
效能不足
原因
用例生成效率低
参数
爆炸覆盖
业务规则遗
归测试
果比
识传承断
经验未文档化
员变动无交接
提升策略
测试效能
化用例生成
智能挖掘
核心黄金用例
测试SOP视频
风险用例
缺陷模式
测试设计
策略/
沉淀
解构测试痛点 具像化测试问题 段定位原因 找出解决方法
 

策略测试突破 解决方案及功能点 持续优化 目标达成计划
测试设计优化5
测试类率平均耗
策略逻辑验证测
32% 4.2h
参数值测试 28% 1.8h
多策略冲突测试 12% 5.0h
异常景模拟测
10% 2.2h
性能阈值压测 18% 3.5h
Pairwise算法
用例降噪
测试/应用
9
7
10
8
1.5-6月基座搭建并出《策略测试
座白皮
2.7-8月完成用例生成并出用例生成工具
3.9-10月完成智能降噪使用例行效率提升
20%
4.续优化迭代不断完善策略测试体系
量保障升级测试效能突破
测试成本测试术跃进
自然语言
DSL解析
AST解析
用例
二叉树生成
笛卡
用例生成
值引擎
适配
自然
DSL解析AST解析
用例
二叉生成
笛卡
用例生成
正向
用例生成
用例生成
逆向
用例生成
引擎
适配
标值
生成工具
Pairwise算法
用例降噪
标值
生成工具
聚焦20%缺陷
80%效能提升
算法驱动
效能升之路
迭代提升策略
测试效能任重道
聚焦点各个
用事实说话
 
智能风控体系测试
测试的“测”字,左边是水代表流动思维,右边是则代表
规则。这正是我们的使命——在变革的洪流中铸造质量基
 
posted @ 2025-04-22 11:47  Emars  阅读(8)  评论(0)    收藏  举报