使用 Prometheus + Slurm Exporter 监控 Slurm 集群

最终效果

TODO

背景

slurm集群的基本使用情况通常需要用户主动使用sinfo或者scontrol mingling来获取，不利于集群管理，例如预估作业排队时间等，需要考虑使用一种监控工具并持久化存储系统的资源情况，一般有下面几种手段

1. Prometheus + Exporter
2. pyslurm / 根据 slurm 的动态库进行底层的开发（使用程序调 C 库等）
3. 成熟的开源/商业产品例如 OpenSCOW、Open HPC、Open OnDemand、Open XDMOD、EF HPC Portal 等

很容易得出基于 exporter 的监控方案是最低成本的结论，所以我们考虑来学习这种方案，但是开源的 slurm exporter 也有几种实现，例如：

1. https://github.com/rivosinc/prometheus-slurm-exporter
2. https://github.com/vpenso/prometheus-slurm-exporter
3. https://github.com/SckyzO/slurm_exporter
4. https://github.com/cea-hpc/slurm_exporter

我们来使用第一个项目来学习和演示

安装

TODO

参考资料

展示不同约束的作业排队时间

一些有用的链接

1. https://github.com/PrincetonUniversity/jobstats
2. https://doc.insvast.com/d/HPC_Enginframe_Portal-2026.0/
3. https://pkuhpc.github.io/OpenSCOW/
4. https://openondemand.org/
5. https://openhpc.community/
6. https://open.xdmod.org/
7. https://fastonetech.com/blog/