微服务-异常排查

现象:

公司开发的双十二抢红包活动,在秒杀时间点打开系统出现页面加载很慢,甚至直接报系统异常,很多接口超时,或者直接500~~~

排查记录:

从应用层面排查日志,未发现异常的日志,接口都正常,通过Elk查看Nginx日志:

1.发现很多接口报500,并且响应时间很短,说明不是超时,(当时怀疑是网关直接拒绝请求)

2.还有一些响应时间比较长的接口信息

 

排查结果:

1.部分接口响应时间过长,拖垮了整个微服务,使网关拒绝服务请求;[可能性较小,通过Elk排查,并未发现大量的响应时间过长的接口]

2.前端页面未走CDN,图片等静态资源占据大量的流量带宽,导致服务器带宽出现瓶颈

 

修复方案:

1.在应用层面将响应时间长的接口限流

2

posted @ 2019-12-11 18:20  朗如风9011  阅读(568)  评论(0)    收藏  举报