clickhouse 服务器意外重启,磁盘重新挂载,zookeeper 启动各种紧急救援

各种意外

各个依赖clickhouse的应用程序都在疯狂报错,已经造成生产事故,启动紧急救援;
重新启动 clickhouse 失败,排查原因发现clickhouse所在的磁盘 目录不可以访问,再排查发现磁盘没有挂载
挂载磁盘后继续重新启动,依然重启失败,经排查发现 zookeeper 链接被拒绝,重新启动 zookeeper;
再次启动clickhouse,成功!

正确的处理方式

1、检查 clickhouse依赖的zookeeper是否启动
2、启动 clickhouse

把这次紧急救援用到的命令汇总一下

service clickhouse-server restart

df -h
fdisk -l

  挂载磁盘

mount -t ext3 /dev/vdb1 /epdata0828
怀疑是防火墙的问题:
firewall-cmd --list-port 端口开发正常

clickhouse-client 这个命令链接不拒绝,就知道事情严重了
service clickhouse-server restart 失败
看日志:2020.10.16 09:29:06.551346 [ 8330 ] {} Application: Coordination::Exception: All connection tries failed while connecting to ZooKeeper. Addresses:

找到zookeeper目录:
./zkServer.sh start

posted @ 2020-10-16 09:47  一锤定音885  阅读(2226)  评论(0)    收藏  举报