PROXMOX的CEPH磁盘改造笔记

原来的CEPH配置是每个OSD配74G DB和74G WAL，经过多个AI计论后，基本都建议DB/WAL共用一个lvm分区即可，而且按4T osd大约只需80G DB基本上足够了，所以这次改造把原来的DB/WAL分部删除，重新对SSD进行分区：给每个DB分配120G，改造以后，原来的Apply/Commit Latency(ms)经常出现100~200ms的状态，现在基本上都是10ms以内了

 

以下是操作步骤笔记：

 

1、先要检查CEPH状态，确保目前不要有rebalance/recovery流量，并且确认一下要改造的osd号

ceph -s

lsblk

cepd osd tree

 2、先把OSD置OUT（本次主机上的OSD是osd.0、osd.1、osd.2）

ceph osd out 0
ceph osd out 1
ceph osd out 2

3、这里操作停下来，等ceph的rebalance/recovery重组完成，定时用一下的命令查看

ceph -s

。。。。漫长的等待

4、确认没有了rebalance/recovery流量后，可以继续了

systemctl stop ceph-osd@0
systemctl stop ceph-osd@1
systemctl stop ceph-osd@2

5、先清空osd分区数据

ceph osd purge 0 --yes-i-really-mean-it
ceph osd purge 1 --yes-i-really-mean-it
ceph osd purge 2 --yes-i-really-mean-it

6、把3个OSD的分区删除

ceph-volume lvm zap /dev/sdc --destroy
ceph-volume lvm zap /dev/sdd --destroy
ceph-volume lvm zap /dev/sde --destroy

7、把DB/WAL分区删除

ceph-volume lvm zap /dev/sdb1 --destroy
ceph-volume lvm zap /dev/sdb2 --destroy
ceph-volume lvm zap /dev/sdb3 --destroy
ceph-volume lvm zap /dev/sdb4 --destroy
ceph-volume lvm zap /dev/sdb5 --destroy
ceph-volume lvm zap /dev/sdb6 --destroy

8、重新按120G去分区SSD

sgdisk -Z /dev/sdb

sgdisk -n1:0:+120G -t1:8e00 /dev/sdb
sgdisk -n2:0:+120G -t2:8e00 /dev/sdb
sgdisk -n3:0:+120G -t3:8e00 /dev/sdb

partprobe /dev/sdb

9、重建OSD

ceph-volume lvm create --data /dev/sdc --block.db /dev/sdb1
ceph-volume lvm create --data /dev/sdd --block.db /dev/sdb2
ceph-volume lvm create --data /dev/sde --block.db /dev/sdb3

10、继续待待rebalance/recovery完成