读金融风险管理，POS系统风险感悟

前言

2021/10/17在读金融风险管理中，对于金融风险管理流程，有感于

2021/10/15日晚发生Pos订单服务崩溃事件。

借鉴金融风险的管理，来优化管理服务系统的风险。

风险管理的流程

 

借鉴与金融风险的管理流程，回看POS的问题复盘，思考对于系统风险管理的不足与改进。

 

本次POS问题排查、处理过程

1. 最初问题识别为日志打印过多，导致服务奔溃

2. 修复1后，排查业务系统日志，问题识别为签名检验拦截

3. 临时修复2后，排查业务系统日志，问题识别为订单结算消费堵塞

4. 临时限流3后（增加服务器），定位问题为数据库处理瓶颈，发现慢SQL（最终解决问题）

 

风险的识别

不足：本次问题的排查中发生多次问题定位不明确，消耗大量时间、精力过滤异常信息，导致问题修复时间拉长

改进：是否需引入服务器监控相关工具，数据库、缓存、MQ等相关监控工具或平台（后续发现是有的，但是没自己权限）

风险的度量

不足：如何鉴别服务中的各项问题的可能性，估计问题严重性

改进：对于不同告警标准，是否有不同的告警处理方案（e.g 数据库异常SQL，达到10%提醒管理员，20%抄送负责人，50%群组，100%异常报警事件）

　　事件处理事件时间超过某个度量，采用不用的应对方案......

风险的应对

不足：这次事件问题应对方式单一，长时间排查问题，针对发现的问题处理问题。没有一套临时应急方案，能够快速解决用户的问题。

改进：e.g 提供临时服务扩容方案；接口限流或转发的方案；异常数据的统计方案......

风险的监测、预警、报告 

不足：对于数据库有监测平台，但开发人员不知道或者没权限；预警的通知人员不够精确、全面；没有定期的监测报告；除数据库外是否有其他中间件的监测平台，日志检测

改进：MYSQL增加告警名单，增加开发人员（增加RDS权限），每周、每月定期的出监测报告。。。。。。