赞存换盘步骤

关于硬盘更换步骤的调整

原赞存运维手册的标准步骤是：

1. 界面停止osd，命令行ceph osd out x，界面删除osd，“等待所有PG：active+clean”（即原osd上所有数据迁移到其他osd，PG重新分布此时对业务有一定的影响）
2. 更换新盘
3. 添加初始化osd，加入crush主机，“等待所有PG：active+clean”（PG第二次重新分布，此时第二次对业务造成一定的影响））

调整后的主要步骤是：

1. 首先设置nobackfill，ceph osd set nobackfill
2. 管理页面停止OSD。
3. 设置osd out ceph osd out osd.x
4. 管理页面删除osd。

这个时候PG不会迁移，应该是2副本运行。

5. 更换硬盘。

关于如何定位坏盘，最好在删除之前就定位好，若是忘记了，用下面的方法定位要删除的硬盘。

[root@2unkocs01 ~]# lsblk # 查找到未被正常使用的硬盘，假设为sde
[root@2unkocs01 ~]# lsscsi  # 查看第三位，找到其LD号。7
[0:0:54:0]   enclosu LSI      SAS3x28          0601  -        
[0:0:57:0]   disk    ATA      INTEL SSDSC2KG48 0100  /dev/sda 
[0:2:0:0]    disk    AVAGO    MR9361-8i        4.68  /dev/sdb 
[0:2:5:0]    disk    AVAGO    MR9361-8i        4.68  /dev/sdc 
[0:2:6:0]    disk    AVAGO    MR9361-8i        4.68  /dev/sdd 
[0:2:7:0]    disk    AVAGO    MR9361-8i        4.68  /dev/sde 
[0:2:8:0]    disk    AVAGO    MR9361-8i        4.68  /dev/sdf 
[0:2:9:0]    disk    AVAGO    MR9361-8i        4.68  /dev/sdg 
[0:2:10:0]   disk    AVAGO    MR9361-8i        4.68  /dev/sdh 
[0:2:11:0]   disk    AVAGO    MR9361-8i        4.68  /dev/sdi 
[root@2unkocs01 ~]# MegaCli -LDPDinfo -a0 | grep -E "Virtual Drive:|Enclosure Device ID:|Slot Number:"  # 根据LD号7，可以找到其Slot为9
Virtual Drive: 0 (Target Id: 0)
Enclosure Device ID: N/A
Slot Number: 76
Enclosure Device ID: N/A
Slot Number: 82
Virtual Drive: 5 (Target Id: 5)
Enclosure Device ID: 54
Slot Number: 6
Virtual Drive: 6 (Target Id: 6)
Enclosure Device ID: 54
Slot Number: 3
Virtual Drive: 7 (Target Id: 7)
Enclosure Device ID: 54
Slot Number: 9
Virtual Drive: 8 (Target Id: 8)
Enclosure Device ID: 54
Slot Number: 4
Virtual Drive: 9 (Target Id: 9)
Enclosure Device ID: 54
Slot Number: 5
Virtual Drive: 10 (Target Id: 10)
Enclosure Device ID: 54
Slot Number: 8
Virtual Drive: 11 (Target Id: 11)
Enclosure Device ID: 54
Slot Number: 7
[root@2unkocs01 ~]# MegaCli -PDLocate -start -physdrv[54:9] -a0  # 点亮硬盘LED灯
                                     
Adapter: 0: Device at EnclId-54 SlotId-9  -- PD Locate Start Command was successfully sent to Firmware 

Exit Code: 0x00
[root@2unkocs01 ~]# 

6. 换盘后在管理页面上同步主机信息。
7. 在管理页面上添加OSD。
8. 在管理页面上将新添加的OSD加入CRUSH主机。
9. ceph osd unset nobackfill设置backfill，PG不会第二次重新分布，还是又回到之前osd上，对业务的影响最小。