ceph_OSD的添加删除

this is my first ‘ceph’ article ，just start .....................! ! !

一，手动增加OSD

在ceph里，一个OSD一般是一个ceph-osd守护进程，它运行在硬盘之上，当集群容量达到使用上限，或接近near full 比率后，需要增加OSD或OSD主机来扩容。

在一个运行的ceph集群里添加一个osd要依次创建数据目录，把硬盘挂载到数据目录，把OSD加入集群，然后把OSD加入CRUSHMAP, ceph集群尽量使用统一

硬件，如果新增容量不一的磁盘，创建过程中还需调整它的权重。

添加OSD前，保证集群环境OK

当前集群环境三台主机，6个OSD

1，创建OSD，如果未指定UUID，OSD启动时会自动生成一个，下列命令会输出OSD号（VDD是新添加的磁盘）

#ceph osd create [ uuid 或 id ] （如果指定了ID 那么它将作为OSD id，一般来说不建议指定ID，让ceph按顺序自动分配）

#ceph osd tree

2，在新OSD主机上创建默认目录

3，格式化磁盘，挂载到刚创建的目录下

# mkfs.xfs /dev/vdd

4，初始化OSD数据目录

# ceph-osd -i 6 --mkfs --mkkey

正常报错不用担心

5，注册OSD的认证秘钥，

# ceph auth add osd.6 osd 'allow *' mon 'allow rwx' -i /var/lib/ceph/osd/ceph-6/keyring

6，把OSD加入CRUSHMAP 这样新加入的OSD才能开始接受数据，（也可以通过反编译crushmap 把OSD加入列表设备）

#ceph osd crush add 6 0.00999 host=ceph3

注意：对在使用中的ceph集群，为降低对用户 I/O 性能的影响，加入 CRUSH 图时应该把 OSD 的初始权重设为 0 ，然后每次增大一点、逐步增大 CRUSH 权重。例如每次增加 0.2 ：

#ceph osd crush reweight {osd-id} .2

迁移完成前，可以依次把权重重置为 0.4 、 0.6 等等，直到达到期望权重

为降低 OSD 失败的影响，你可以设置：

#mon osd down out interval = 0

它防止挂了的 OSD 自动被标记为 out ，然后逐步降低其权重：

#ceph osd reweight {osd-num} .8

等着集群完成数据迁移，然后再次调整权重，

注意/var/lib/ceph/osd/ceph-X的权限，应该属主属组都是ceph

以下为通过反编译CRUSHMAP的方式添加OSD到CRUSH

（1）利用ceph工具获取当前的crush map

#ceph osd getcrushmap -o ./mycrushmap

（2）反编译crush map ./mycrushmap 是一个二进制文件，需要通过crushtool反编译成文本文件才能进行编辑

#crushtool -d ./mycrushmap > ./mycrushmap.txt

（3）编辑crush map 文本文件

[root@ceph3 ~]# vi mycrushmap.txt

# begin crush map
tunable choose_local_tries 0
tunable choose_local_fallback_tries 0
tunable choose_total_tries 50
tunable chooseleaf_descend_once 1
tunable straw_calc_version 1

# devices
device 0 osd.0
device 1 osd.1
device 2 osd.2
device 3 osd.3
device 4 osd.4
device 5 osd.5
device 6 osd.6

# types
type 0 osd
type 1 host
type 2 chassis
type 3 rack
type 4 row
type 5 pdu
type 6 pod
type 7 room
type 8 datacenter
type 9 region
type 10 root

# buckets
host ceph1 {
        id -2           # do not change unnecessarily
        # weight 0.020
        alg straw
        hash 0 # rjenkins1
"mycrushmap.txt" 77L, 1279C

此处不过多介绍，具体添加方式自行了解

（4）编辑完成后，在编译crush map 文本文件为二进制文件

# crushtool -c ./mycrushmap.txt -o ./newmap