随笔分类 -  企业软件生产运营管理和实践分析

【二级事故】【VCS2.0-分案子系统】因角色被删除，导致催员无法作业47分钟且客户敏感信息明文展示
摘要：问题原因： VCS2.0角色权限管理中【批量调整】会删除VCS1.0用户角色, 造成案件无法分配到催员以及催员权限丢失。 问题影响： 9:00-9:47 催收系统无法分案到催员，造成业务部门无法正常进行催收作业，且该时间段，协催订单、停催订单的本人电话号码未脱敏。9:25-11:10 约450内催坐 阅读全文
posted @ 2025-03-03 11:08 无味之水 阅读(10) 评论(0) 推荐(0)
【四级事故】路由决策费率问题
摘要：问题原因： 路由与费率决策交互频繁，风控系统优化处理效率，路由针对调用费率决策由串行改为并行。并行处理中，忽略了一个局部变量在多线程中的安全性问题，导致多资方的费率区间映射错乱，最终导致费率决策回吐年化错误。 问题影响： 8月4日21：10 - 8月5日11：20 间隙性影响流程，对客年化可能会导致 阅读全文
posted @ 2025-03-03 10:56 无味之水 阅读(6) 评论(0) 推荐(0)
【三级事故】贷后服务超时导致App端借款卡死，内部系统查询慢
摘要：问题原因： 1. 应用服务vsi-api数据库连接池使用默认配置可能并不适配应用实际使用要求 2. 贷后的扣款指令数据增长到1.7亿未归档，原未决查询脚本性能严重下降，执行频率高（每20分钟1次），造成tmpdb库性能下降。相关使用临时表的查询性能下降。后台接口响应慢，前端涌入的请求越堵越多，造成各 阅读全文
posted @ 2025-03-03 10:56 无味之水 阅读(9) 评论(0) 推荐(0)
【四级事故】【VBS】payid字段超限导致无法填帐影响贷后和客服一线作业，字段扩位操作导致从库异常影响提现、授信和主动还款
摘要：问题原因： 扣款程序使用到的dbo.Received表中的字段PayID超过了定义int最大值 问题影响： 16:20 主流程提现业务恢复(14:10~16:20)17:10 豆豆授信业务积压(13:50~15:03 15:13~17:00)17:10 账单查询功能恢复（14:01~17:10 阅读全文
posted @ 2025-03-03 10:56 无味之水 阅读(7) 评论(0) 推荐(0)
软件全流程管理
摘要：一、 软件开发到运维规范： 1、开发前的需求评审： 2、开发前的技术评审： 3、 开发中需求沟通： 4、单元测试 5、开发完和测试技术评审： 6、发测试邮件模版： 7、测试过程中需求沟通: 8、上生产计划列表： 9、产线验证 10、回滚 11、持续跟踪 12、出生产事故等级和责任划分 13、复盘 1 阅读全文
posted @ 2025-03-03 10:52 无味之水 阅读(7) 评论(0) 推荐(0)
1.不同类别事故的划分
摘要：系统事故 系统事故划分： 五级事故 四级事故 三级事故 二级事故 一级事故 CBUT>8h 4h<CBUT<=8h 2h<CBUT<=4h or NBUT>24h 1h<CBUT<=2h or 8h<NBUT<=24h 30m<CBUT <=1h or 2h<NBUT<=8h 外部用户核心业务：登录 阅读全文
posted @ 2025-03-03 10:50 无味之水 阅读(57) 评论(0) 推荐(0)
软件稳定性运营总结和典型案例分析
摘要：2022和2023年一级以上事故，2024一整年事故总共154案例 进行分析： 类别 标签 事故数量 三级以上事故 项目管理 需求沟通 27 0 程序开发 业务逻辑错误 23 0 项目管理 配置问题 21 0 程序开发 数据库设计和sql 18 3 运维 监控 15 1 运维 基础设施维护 15 1 阅读全文
posted @ 2025-03-03 10:46 无味之水 阅读(51) 评论(0) 推荐(0)
生产运营管理的意义
摘要：一、责任划分机制：建立明确协作框架 ‌流程边界定义‌ ‌开发侧‌：负责代码质量（单元测试覆盖率≥85%）、灰度发布验证（至少覆盖3种真实业务场景）、生产环境模拟测试（需通过全链路压测）‌12。 ‌运维侧‌：主导部署流程标准化（如容器化部署模板）、监控告警规则维护（包括业务指标与基础设施联动告警）、应 阅读全文
posted @ 2025-03-03 09:56 无味之水 阅读(27) 评论(0) 推荐(0)