ceph osd 日常操作

查看 osd 池

ceph osd lspools

列出 osd 池所在的主机位置

ceph osd tree

列出指定节点上的 OSD 详细信息：

ceph-deploy osd list node-1 

设置 ceph 不进行平衡操作

ceph osd set norebalance
ceph osd set nobackfill

# 查看
ceph -s 

# 恢复平衡操作
ceph osd unset nobackfill
ceph osd unset norebalance

查看 ceph osd 的性能

ceph osd perf


# 停掉一个 osd
ssh node-3
systemctl stop ceph-osd@5

# 查看 osd 状态
ceph osd tree

# 移除 osd.5
ceph osd out osd.5
ceph osd crush rm osd.5
ceph osd rm osd.5
ceph auth rm osd.5

ceph osd tree
ceph auth ls

ceph 相关的服务

cd /usr/lib/systemd/system
ls | grep ceph

systemctl restart ceph-mon@node-1
systemctl restart ceph-mon@node-2

ceph 日志存放的地方

cd /var/log/ceph

查看 osd 的容量状态

ceph osd df

rados df

查看 mon 信息

ceph mon dump

查看 quorum 状态

ceph quorum_status

设置和查看参数

ceph --admin-daemon /var/run/ceph/ceph-mon.node-1.asok config set mon_clock_drift_allowed 1.0
ceph --admin-daemon /var/run/ceph/ceph-mon.node-1.asok config show |grep clock

设置和查看 pool 的副本数，pg_num

ceph osd pool get ceph-demo size
ceph osd pool get ceph-demo pg_num

ceph osd pool set ceph-demo size 2
ceph osd pool set ceph-demo pg_num 64

查看和设置 application

ceph osd pool application get kubernetes
ceph osd pool application enable kubernetes rbd

删除 pool

# 现在每个 osd 节点上执行
ceph --admin-daemon /var/run/ceph/ceph-mon.node-1.asok config set mon_allow_pool_delete true
ceph --admin-daemon /var/run/ceph/ceph-mon.node-2.asok config set mon_allow_pool_delete true
ceph --admin-daemon /var/run/ceph/ceph-mon.node-3.asok config set mon_allow_pool_delete true

# 再操作
ceph osd pool rm kubenetes kubenetes --yes-i-really-really-mean-it

# 在配置文件中设置默认可删除
cd /data/ceph-deploy

vi ceph.conf
# 在 [global] 下添加
mon_allow_pool_delete = true

# 分发配置，重启
ceph-deploy --overwrite-conf config push  node-1 node-2 node-3
for i in {1..3};do ssh node-${i} systemctl restart ceph-mon.target;done
ceph --admin-daemon /var/run/ceph/ceph-mon.node-1.asok config show |grep mon_allow_pool_delete