zookeeper:Too many connections 故障处理记录

一早例检发现,监控数据没了,检查spark,应用还在,但是error一堆,hbase连不上了,难道又是zk连不上,导致hbase挂了。。。

登陆hbase服务器,妥妥的。。。

再看zk日志显示Too many connections。。。

因为我的spark应用里面基本都会写入hbase,而且这个测试环境zk基本只有我在用,重启spark,发现zk连接数还是居高不下,后面就走了弯路了:

  开始以为是我的hbase的client连接数设置的太小了,把zk和hbase的配置全都重新设置了一遍,

    设置 hbase.zookeeper.property.maxClientCnxns 值 300,600,1000重启问题依旧;

  是不是我的spark应用里面没有关闭hbase连接,造成连接未释放,上周还没问题,过了个周末就不行了,好吧,开始检查修改hbase client,确实没关,修改后,突然想到我的spark应用每次执行完会自动销毁,为什么之前没问题?

  测试下,果然问题依旧。。。

 

  这下要好好想想了,还是从头开始检查吧:

    1、检查下zk

      看看2181端口都谁在链接

      sudo netstat -nap |grep 2181

      好多。。。挨个看看,突然发现有个进程是一个调度系统的执行器,而且数据巨多,怎么没有关闭呢?

      这个调度系统是上周刚刚部署的,查~

    2、检查调度系统

      调度日志各种mysql链接不上,怎么mysql挂了?果然mysql已经无法链接了。。

      其他系统的应用把mysql链接都沾满了,估计是谁的程序出bug了。不管他,重启mysql,可以链接了

      这个调度系统里面也有写入hbase的动作,对应的客户端都一个,肯定也没关闭链接

    3、修改调度系统源码

      修改hbase客户端代码,添加destroy过程

      更新部署,重启,再看zk连接数,正常了

总结:

  这个故障实际是个连锁反应造成的 :

    调度系统mysql连不上了,导致写入hbase动作未完成,且未释放(严重bug),由于调度系统会不停的执行调度任务,累计造成zk链接数高涨,其他spark应用都跟着出问题了

    修改了hbase客户端关闭链接的bug后,故障解决。

  不过这里有个问题,之前hbase写完未关闭的bug存在,但是没出问题,是因为spark已经自动销毁了。但是调度系统里面由于未能及时销毁,造成遗留的bug终于爆发了,出现上面的故障。

 

 

    

posted @ 2017-05-15 14:04  alexXF  阅读(3966)  评论(1编辑  收藏  举报