微服务-异常排查
现象:
公司开发的双十二抢红包活动,在秒杀时间点打开系统出现页面加载很慢,甚至直接报系统异常,很多接口超时,或者直接500~~~
排查记录:
从应用层面排查日志,未发现异常的日志,接口都正常,通过Elk查看Nginx日志:
1.发现很多接口报500,并且响应时间很短,说明不是超时,(当时怀疑是网关直接拒绝请求)
2.还有一些响应时间比较长的接口信息
排查结果:
1.部分接口响应时间过长,拖垮了整个微服务,使网关拒绝服务请求;[可能性较小,通过Elk排查,并未发现大量的响应时间过长的接口]
2.前端页面未走CDN,图片等静态资源占据大量的流量带宽,导致服务器带宽出现瓶颈
修复方案:
1.在应用层面将响应时间长的接口限流
2