机房巡检的十八个检查点
这段素材是我在机房拍的,前后去了七趟,每次两小时。剪的时候发现一个问题:镜头里好看的东西——整排机柜的蓝光、整齐的走线——大多不是巡检要看的东西。真正要看的是那些不起眼的细节:一颗橙色指示灯、一处地面水痕、一个松了的标签。所以这篇图文按分镜来写,画面是当时拍到的,旁白是手里的清单,判断是我站在那儿想的那句话。
清单上原来写了四十多条,跑了一年删到十八个点。删掉的多是"可以远程看"的项目,留下的都是必须站到机器前面才能确认的。十八个点按位置分成四组,加一节记录方法,正好说完一趟巡检。
一、进门前:六个点决定这趟有没有意义
1.1 画面:玻璃门后的那排灯
镜头从走廊推进来,门禁读卡器的蓝灯闪了一下,玻璃门后是两排机柜,风扇声压过脚步声。地上有一条黄色的警戒线,边角磨白了。我停了两秒没进门,先抬头看门框上方那块小屏幕,上面是机房内的温湿度读数,二十三点六度,湿度百分之四十六。
1.2 旁白:进门前的六件事
门禁记录先看:这一周有没有非工作时间的进出,有没有卡在凌晨刷过。静电手环要试一下通断,很多人戴上去不夹夹子,等于没戴。鞋套和防尘服看有没有破损,脚底带进来的灰是设备的大敌。
随身工具清一遍:手电、扎带、标签机、备用跳线,缺一样就得回办公室拿,来回二十分钟。温湿度看板进门时先读一次,出门前再读一次,两个数对比才知道这两小时里环境有没有波动。消防通道看一眼,有没有被临时堆的纸箱占住——这条很容易被忽略,搬货的人图方便就往那儿放。
1.3 当时的判断:门禁异常往往比设备告警更早
那天门禁记录里有一条凌晨三点的刷卡,工单上没有对应的记录,后来查到是厂商做远程支持时让值班的人开的门,忘了补单。这件事本身不大,但它说明一个规律:设备故障之前,往往先有一次非计划的现场动作。门禁记录是唯一能看见这类动作的地方,所以它排在六个点的头一位。
二、机柜前:六个点里有四个要靠眼睛
2.1 画面:一颗橙色灯在一片蓝里
镜头贴着机柜推过去,一格一格的蓝灯,中间有一颗橙色的,闪得有节奏。旁边那台机器前面板干干净净,网口位置的灯是灭的。我把手电斜着打进去,看到那根网线的水晶头卡扣断了半截,线是靠着自重挂在口上的。
2.2 旁白:站着能看到的六件事
指示灯看三种状态:常亮、闪烁、熄灭。橙色常亮通常是硬件告警,橙色闪烁多为可恢复的降级,熄灭要么是关机要么是没上电,得靠别的手段区分。风扇噪音要听,同型号的机器声音应该一致,有一台明显更响,多半是轴承或者进灰。
进出风口温度用手背试,出风口烫手就是不正常,进风口应该接近室温。线缆标签看两头是否都还在,只贴一头的标签,半年后就是一根来路不明的线。双路电源要确认两路都在工作,拔一路测试不能在生产时间做,只能看电源模块的指示灯。U 位和资产标签核对,位置和台账对不上,下次故障时找机器就要多花十分钟。
2.3 当时的判断:橙灯不是故障,是欠账
那颗橙灯亮了六天,告警平台上有记录,但被归到了"非关键"。现场看才知道,这台机器是双路电源里坏了一路,剩下的一路在撑,撑得住,但没有了冗余。这类状态不会自己变好,只会等下一次单路故障时一起爆。巡检的价值就在这儿:它不看"是否可用",看"还剩多少余量"。
三、配电与制冷:四个点决定机房能撑多久
3.1 画面:配电柜上的一排指针
镜头摇到墙边,配电柜的门是半开的,里面三排空开,上面贴着打印的标签,字有点褪色。柜顶挂着一个电流表,三根指针分别指在六十、五十八、四十二的位置,中间那根明显低于另外两根。
3.2 旁白:四个必须记录的数
UPS 负载率看面板上的百分比,超过七成就该规划扩容,不用等告警。电池组看两样:投运日期和环境温度,电池的寿命对温度极其敏感,机房温度每高十度,寿命大致减半。配电柜看三相电流是否平衡,偏差超过两成就要调整负载分配,长期偏相会让零线发热。
空调看回风温度和冷凝水管,回风温度和机房温度差得太多,说明送风路径有问题;冷凝水管周围有水渍或者发黄,说明排水不畅,这类问题往往在夏天暴露。四个数都记在纸上,不记在脑子里,因为要跟上一趟的数比。
3.3 当时的判断:不平衡比过载更隐蔽
三相偏差两成,总负载才六成,看总量很安全,看单相已经偏紧。这类问题的麻烦在于它不会触发任何阈值告警,只会让某一相的线缆和空开长期高温,绝缘慢慢老化。后来我们调整了几台设备的供电相位,偏差降到百分之八,柜内温度降了四度。这种改动没人会主动提,只有巡检时量了数才会发现。
四、环境与安全:两个点,出了事就是大事
4.1 画面:天花板下的红色钢瓶
镜头仰拍,天花板下方固定着一排红色钢瓶,压力表指针在绿区靠下的位置,瓶身上的检验标签边缘卷起来了。旁边的烟感探头有一个罩子还套着,是装修时留下的。
4.2 旁白:两个不能省的确认
灭火装置看压力表指针是否在绿区,看钢瓶的检验日期,看喷头有没有被遮挡。烟感探头那层塑料罩必须摘掉,罩子不摘,探头就是个摆设,这个错误在装修后的机房里出现得非常多。另一个点是门磁与监控:门磁能不能正常触发,摄像头有没有被新装的桥架挡住,录像能不能回放七天以上。
4.3 当时的判断:这两个点一年用不上,一次就够
灭火和监控属于典型的低频高风险项目,检查它们的过程很无聊,一年也不会用上。但这两项的失效是静默的,压力表掉到红区、探头被罩住,都不会有任何提示。所以这两个点我从不省略,也不交给别人代看。清单上其余的点可以抽查,这两个必须逐项确认。
五、巡检之后:记录怎么留才有用
5.1 画面:一张写满数字的A4纸
镜头切到桌面,一张 A4 纸,上面是手写的表格,十八行,每行后面写着数值或者"正常"。有几个格子用红笔圈了,旁边写着"待观察"。纸的右下角签了名和日期,字迹潦草。
5.2 旁白:记录要能对比
手写不是问题,问题是写完就归档,下次没人翻。我们的做法是每趟巡检把六个关键数值抄进一张电子表:温度、湿度、UPS 负载、三相电流、回风温度、空调排水状态。这张表按周排,横向看就是趋势。文字描述只写异常项,正常项打勾,这样一张表扫一眼就知道哪周出过事。
5.3 当时的判断:趋势比单次数值可靠
有一次温度从二十二度慢慢爬到二十五度,每趟都在"正常范围"内,谁都没在意。第三周空调的一台压缩机坏了,温度直接冲到三十度。回头看那张表,爬升的斜率很清楚。单次数值只能判断当下是否合规,连续数值才能判断设备是不是在退化。这个道理不新鲜,但只有把数记下来才用得上。
十八个点跑一趟,熟手四十分钟,生手两小时。差别不在看得快慢,在于知道哪些点可以一眼过、哪些必须停下来量。这套清单后来给过几个同行,他们各自按自己的机房改了几条,这很正常——检查点的价值不在条数,在于每一条都能对应一个具体的失效方式。
常见问题
问:十八个点是不是太多了,能不能只留几个关键的?
答:可以精简,但要看机房的规模和使用强度。单机柜、无精密空调的小机房,配电和制冷那四个点可以合并成两个,其余照留。判断标准是"这个点失效之后,多久会被别的监控发现"——能被远程监控及时发现的,可以降低现场检查频次;发现不了的,必须每趟看。
问:巡检周期定多久合适?
答:按设备的重要程度分。核心机房每周一次现场,普通机房每月一次,托管机房可以按季度。频次不是关键,稳定性才是——定成每周就必须每周,不能因为忙就跳过。跳过两次之后,这张清单就失效了,因为记录断档,趋势看不成。
问:能不能用传感器替代人工巡检?
答:能替一部分。温度、湿度、电流、漏水都能上传感器,而且比人准。但指示灯、线缆标签、异味、异响、门的开合这些还替代不了。实际的做法是传感器负责连续监测,人负责确认那些"看起来不对"的东西。两者不冲突,传感器省下的时间正好用来处理异常。
问:巡检发现问题之后怎么推动整改?
答:把它变成有责任人和期限的条目,别留在巡检表里。我们的做法是每条异常开一张单,写清影响、建议动作、期望完成时间,挂到值班表上每周过一遍。没有责任人的异常会一直在表里躺着,躺到下一次故障把它翻出来。
浙公网安备 33010602011771号