02-Slurm集群配置以及作业调度实战

以下是一个详细的步骤指南，帮助你在本地使用 VMware Workstation 模拟 3 台虚拟机，搭建一个简单的 Slurm 集群，并通过实际作业调度快速掌握其核心功能。整个过程分为 虚拟机配置、Slurm 安装、集群部署、作业提交 四个阶段。

---

一、虚拟机环境准备

1. 创建 3 台 CentOS/Ubuntu 虚拟机

• 系统要求：CentOS 7/8 或 Ubuntu 20.04/22.04（本文以 CentOS 7 为例）。
• 虚拟机配置：
  • 主节点 (master)：1 核 CPU，2GB 内存，40GB 磁盘。
  • 计算节点 (node1, node2)：各 1 核 CPU，2GB 内存，40GB 磁盘。
• 网络配置：
  • 使用 NAT 或桥接模式，确保三台虚拟机在同一子网内。
  • 配置静态 IP（例如：master=10.0.0.10，node1=10.0.0.11，node2=10.0.0.12）。
  • 修改 /etc/hosts 添加主机名解析：

    # 所有节点执行
    sudo vi /etc/hosts
    10.0.0.10 master
    10.0.0.11 node1
    10.0.0.12 node2
    

2. 配置 SSH 免密登录

• 主节点生成密钥：

  ssh-keygen -t rsa   # 默认路径，回车确认
  

• 将公钥分发到所有节点：

  ssh-copy-id master
  ssh-copy-id node1
  ssh-copy-id node2
  

---

二、安装 Slurm 和依赖

1. 所有节点安装依赖

• 安装 EPEL 仓库（仅限 CentOS）：

  sudo yum install epel-release
  

• 安装 Slurm 和 Munge（认证工具）：

  # CentOS
  sudo yum install -y slurm slurm-slurmd slurm-slurmctld slurm-devel munge munge-devel
  
  # Ubuntu
  sudo apt install -y slurm slurm-slurmd slurm-slurmctld slurm-devel munge munge-devel
  

2. 配置 Munge（所有节点）

• 生成 Munge 密钥并同步：

  # 在主节点生成密钥
  sudo dd if=/dev/urandom bs=1 count=1024 > /etc/munge/munge.key
  sudo chmod 400 /etc/munge/munge.key
  sudo chown munge:munge /etc/munge/munge.key
  
  # 将密钥复制到 node1 和 node2
  scp /etc/munge/munge.key node1:/etc/munge/
  scp /etc/munge/munge.key node2:/etc/munge/
  

• 启动 Munge 服务：

  sudo systemctl enable --now munge
  

---

三、配置 Slurm 集群

1. 主节点生成配置文件

• 生成默认配置文件：

  sudo cp /etc/slurm/slurm.conf.example /etc/slurm/slurm.conf
  sudo vi /etc/slurm/slurm.conf
  

• 修改 slurm.conf 关键参数：

  ControlMachine=master       # 主节点主机名
  SlurmctldPort=6817
  SlurmdPort=6818
  AuthType=auth/munge
  
  # 定义节点（根据实际虚拟机配置调整）
  NodeName=node[1-2] Sockets=1 CoresPerSocket=1 ThreadsPerCore=1 State=UNKNOWN
  PartitionName=normal Nodes=node[1-2] Default=YES MaxTime=INFINITE State=UP
  

• 同步配置文件到所有节点：

  scp /etc/slurm/slurm.conf node1:/etc/slurm/
  scp /etc/slurm/slurm.conf node2:/etc/slurm/
  

2. 启动 Slurm 服务

• 主节点启动控制服务：

  sudo systemctl enable --now slurmctld
  

• 计算节点启动计算服务：

  # 在 node1 和 node2 执行
  sudo systemctl enable --now slurmd
  

3. 验证集群状态

• 查看节点是否在线：

  sinfo -N
  

  输出应类似：

  NODELIST   NODES PARTITION STATE
  node1      1     normal    idle
  node2      1     normal    idle
  

---

四、提交 Slurm 作业

1. 编写测试作业脚本

• 创建作业脚本 test.sh：

  #!/bin/bash
  #SBATCH --job-name=hello_slurm
  #SBATCH --output=hello.out
  #SBATCH --nodes=1
  #SBATCH --ntasks-per-node=1
  
  echo "Hello from Slurm! Running on node: $(hostname)"
  

• 提交作业：

  sbatch test.sh
  

• 查看作业队列：

  squeue
  

2. 验证作业执行结果

• 查看输出文件 hello.out：

  cat hello.out
  

  输出应类似：

  Hello from Slurm! Running on node: node1
  

---

五、故障排查

1. 常见问题

• 节点状态为 down：
  • 检查 slurmd 服务是否启动：systemctl status slurmd
  • 查看日志：journalctl -u slurmd
• 作业无法调度：
  • 检查 slurm.conf 是否一致：scontrol show config
  • 查看主节点日志：tail -f /var/log/slurmctld.log

2. 关键命令速查

sinfo          # 查看分区和节点状态
squeue         # 查看作业队列
scontrol show nodes  # 显示节点详细信息
scancel <jobid>      # 取消作业

---

六、扩展场景

1. 多节点并行作业

• 提交 MPI 作业：

  #SBATCH --nodes=2
  #SBATCH --ntasks-per-node=1
  srun hostname
  

2. GPU 资源调度

• 修改 slurm.conf 添加 GPU 支持：

  NodeName=gpu-node Gres=gpu:1
  PartitionName=gpu Nodes=gpu-node
  

---

通过上述步骤，你可以在本地虚拟机环境中快速搭建一个 Slurm 集群，并理解其核心调度流程。实际生产环境中需根据硬件资源和业务需求调整配置参数。