Raid操作与坏盘诊断
Raid相关操作与注意事项
Raid5
SATA盘组成的Raid5，在保护数据的前提下达到高性能：
-
RAID要有BBU
-
Current Cache Policy采用WriteBack，No Write Cache if Bad BBU（没有BBU要改为WriteThrough），write policy分为两种：
-
WriteBack
WriteBack有更好的性能，因为数据会写入controller Cache，不需要等待写入Hard driver，所以在没有BBU的情况下很容易引起数据丢失。
-
WriteThrough
WriteThrough不使用Raid的Cache，性能要比WriteBack低很多
-
-
Disk Cache Policy即SATA盘自己的Cache策略，与Raid无关， 最好要设为disable（因为异常掉电可能会很惨）
UPS：不间断电源，保障计算机系统在停电之后继续工作一段时间
BBU：在供电出现问题的情况下，为controller Cache提供一段时间的供电，在BBU电量耗尽之前恢复供电，可保证数据完整。
BBU是由锂离子电池和电子控制电路组成，电池的寿命取决于其老化程度，无论是否充放电已经充放电的多少，锂离子电池的容量都会减少。为了记录电池的放电曲线，延长电池的寿命，默认会启用自动校准模式（AutoLearn Mode），在Learn Cycle 内，Raid卡控制器不会使用BBU，这个过程可能持续12小时，这个过程中会禁用Write back，直到其完成校准。
这个Auto-Learn Mode，一般30天执行一次，我们的BBU 28天之星一次。一般不要关闭，因为这可以有效地延长寿命。 如果不做这个校准，寿命会从2年下降到8个月。
创建Raid
首先通过PDList查看需要组raid的盘Enclosure Device ID与Slot Number：
/opt/MegaRAID/MegaCli/MegaCli64 PDList -A0
然后组建raid
/opt/MegaRAID/MegaCli/MegaCli64 CfgLDAdd -r5 [E:S1,E:S2,E:S3,E:S4] -strpsz128 -A0
# r5 raid5
# E:S Enclosure Device ID:Slot Number
# strpsz128 raid条带
删除Raid
首先通过LDInfo看要删除Virtual Drive值：
/opt/MegaRAID/MegaCli/MegaCli64 -LDInfo -Lall -aAll
然后删除逻辑盘
/opt/MegaRAID/MegaCli/MegaCli64 -CfgLdDel -Ln -A0
# n 要删除的逻辑磁盘的值
清除Raid下面的foreign key，不过不清除，后面无法建Raid：
/opt/MegaRAID/MegaCli/MegaCli64 -CfgForeign -Scan -aALL
/opt/MegaRAID/MegaCli/MegaCli64 -CfgForeign -Clear -aALL
Disk与BBU相关设置
查看是否存在BBU
/opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -aAll
设置raid Current Cache Policy
# Write Cache OK if Bad BBU（除非特殊情况，否则丢数据可能性变大）
/opt/MegaRAID/MegaCli/MegaCli64 -LDSetProp CachedBadBBU -Lall -aALL
设置为No Write Cache if Bad BBU，即BBU损坏或learning时变为Write Through：
/opt/MegaRAID/MegaCli/MegaCli64 -LDSetProp -NoCachedBadBBU -Immediate -Lall -aAll
BBU每个月会发起learning，也可以手动发起：
/opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -BbuLearn -aALL
Disk Cache
上面说了Disk Cache Policy最好关掉：
关闭Disk Cache
/opt/MegaRAID/MegaCli/MegaCli64 -LDSetProp -DisDskCache -Immediate -Lall -aAll
打开Disk Cache
/opt/MegaRAID/MegaCli/MegaCli64 -LDSetProp -EnDskCache -Immediate -Lall -aAll
检查Raid上的磁盘
先找出有明显错误的，看media error和other error：
/opt/MegaRAID/MegaCli/MegaCli64 -pdlist -a0|grep -Ei "media error |other error"
光凭media error和other error是无法确定盘是否高危的，还需要找到Device Id，使用smartctl工具进去看磁盘信息：
smartctl -a -d megaraid, /dev/sdd
# 后面跟megaraid,【Device Id】 /dev/sdd【在当前raid卡上的盘符】
# 以下几条为高危盘的参考
# 5 Reallocated_Sector_Ct 0x0033 200 200 140 Pre-fail Always - 0
# 187 Reported_Uncorrect
# 188 Command_Timeout【这个有时候会特别大 有一个换算 一般没问题】
# 197 Current_Pending_Sector 0x0032 200 200 000 Old_age Always - 0
# 198 Offline_Uncorrectable 0x0030 200 200 000 Old_age Offline - 0
如果以上指标一个或多个数值特别大，证明该盘为高危盘。
快速找出危险盘：
/opt/MegaRAID/MegaCli/MegaCli64 -LDPDinfo -A0 |grep "Device Id" |awk '{print $3}' |xargs -I {} smartctl -a -d megaraid,{} /dev/sdd |grep -Ei "Reallocated_Sector_Ct|^187|^188|^197"
关机换Raid卡
先查看BBU和集群信息：
/opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -A0 #总信息
/opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -GetBbuStatus -aALL
/opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -GetBbuCapacityInfo -A0
状态应该为Battery State: Optimal是正常
然后更改raid卡策略为WriteThrough：
/opt/MegaRAID/MegaCli/MegaCli64 LDSetProp WT -Lall -Aall（WriteThrough）
/opt/MegaRAID/MegaCli/MegaCli64 LDSetProp WB -Lall -Aall（WriteBack）
先sync，目的是将操作系统文件系统的缓存刷到硬盘：
sync
再将raid卡缓存上的数据刷到硬盘：
/opt/MegaRAID/MegaCli/MegaCli64 -AdpCacheFlush -Aall
raid卡时间
默认raid卡时间与我们系统时间相差八小时，即：raid卡时间+八小时=系统时间
查看raid卡时间
/opt/MegaRAID/MegaCli/MegaCli64 adpgettime -a0
设置raid卡时间
/opt/MegaRAID/MegaCli/MegaCli64 AdpSetTime 20200510 18:18:00 -a0
其他
换盘后查看盘的rebuild进度
/opt/MegaRAID/MegaCli/MegaCli64 -PDRbld -showprog -physDrv [E:S] -a0
/opt/MegaRAID/MegaCli/MegaCli64 -pdrbld -progdsply -physdrv[E:S] -aALL
修改raid盘的rebuild速度，默认为30
/opt/MegaRAID/MegaCli/MegaCli64 -AdpSetProp RebuildRate -30 -a0
获取raid卡日志
/opt/MegaRAID/MegaCli/MegaCli64 -AdpEventLog -GetEvents -f raid.envent.log -a0
查看逻辑盘信息
/opt/MegaRAID/MegaCli/MegaCli64 -LDInfo -Lall -aAll
图上Disk Cache Policy是Disabled，如果是Disk's Default则默认如下：
- For virtual disks containing SATA disks ， Enabled
- For virtual disks containing SAS disks ， Disabled
指定磁盘灯闪烁与关闭
# 闪烁
/opt/MegaRAID/MegaCli/MegaCli64 -PdLocate -start -physdrv [E:S] -aALL
# 取消闪烁
/opt/MegaRAID/MegaCli/MegaCli64 -PdLocate -stop -physdrv [E:S] -aALL
raid卡恢复出厂设置
/opt/MegaRAID/MegaCli/MegaCli64 -AdpFacDefSet -a0
