ClickHouse集群节点排查释放磁盘空间，使用率从97%降到5%

背景　　

　　继上篇文章添加日志保留天数配置操作之后，仅仅暂时缓解磁盘空间，运行2周后依然是撑不住了，磁盘14T，使用率已达到97%！！！如何解决呢，经过以下步骤排查最终是完美释放磁盘空间，从97% 降到了 5%。

解决

1、 查看磁盘空间占用空间很大

2、cd /data

执行du -sh * 检查目录占用磁盘的大小（一级一级的查）

du -sh cliclhouse-server/cores

du -sh clickhouse-server/data

3、对比其他正常节点，主要是cores目录大

4、执行rm -f /data/clickhouse/clickhouse-server/cores/* 清理目录

5、清理后df -h 查看空间没有降低

6、可能是delete进程卡住了，需要执行lsof  |grep deleted 命令查出delete进程

7、查出来以后，找到删除目录对应的进程id，执行kill -9 进程id   kill掉delete进程

从上图看 我们需要kill的进程是 66058， /data/clickhouse/clickhouse-server/logs/clickhouse-serger.log.0(deleted)

8、执行df -h 查看空间恢复正常

此次释放空间效果很明显，使用率从97%降到了5%！！！