Ceph 出现 1 full osd(s)，这个集群不可用问题

现象是 osd.0 使用率达到了 95% 以上，导致整个 ceph 集群不可用， ceph 集群健康为 err 状态

root@k8s-master01:/data/yaml/kube-system/zookeeper# ceph osd df
ID CLASS WEIGHT  REWEIGHT SIZE    RAW USE DATA    OMAP    META    AVAIL   %USE  VAR  PGS STATUS 
 2   hdd 2.50000  1.00000 1.8 TiB 444 GiB 442 GiB 136 KiB 2.0 GiB 1.4 TiB 23.86 0.58 128     up 
 0   hdd 0.25000  1.00000 466 GiB 445 GiB 442 GiB 116 KiB 2.2 GiB  21 GiB 95.47 2.33 128     up 
 1   hdd 0.90970  1.00000 932 GiB 445 GiB 442 GiB 208 KiB 2.0 GiB 487 GiB 47.72 1.17 128     up 
                    TOTAL 3.2 TiB 1.3 TiB 1.3 TiB 460 KiB 6.3 GiB 1.9 TiB 40.91                 
MIN/MAX VAR: 0.58/2.33  STDDEV: 33.24

解决办法

调整 osd 的 weigh值，使数据重新分布

ceph osd crush reweight osd.2 2.5
ceph osd crush reweight osd.0 0.25

# 暂时强制集群恢复读写
ceph osd unset full

释放无用的存储空间，删除 k8s 中的 pvc