小小控制台引发的生产大事件

反欺诈系统上线后生产一直很稳定,3月份配合别的系统作了一个非常小的改造,上线的时候重启的服务,第二天交易量上来之后,出现好几台服务域链接异常,导致转账交易异常。当时重启服务之后,交易恢复,但一直未找到原因。最近几天配合又配合改造,重启服务之后问题再现,)-: 郁闷到家! 把日志好好翻翻,nnd,出错交易都没打出日志,定位可能是日志的问题,反反复复折腾了好几次,发现是日志打印到控制台导致瞬时的交易超时,连锁反应导致交易堆积,导致故障发生。升级换版本把打印控制台去掉,一切又恢复稳定。

posted @ 2018-08-05 11:58  RickyC  阅读(128)  评论(0)    收藏  举报