集群服务器重启后恢复操作

1. master无需处理

2. client：

　　// 每台节点需要配置永久挂载，vi /etc/fstab

　　mount -a　　// 挂载生效

　　systemctl restart munge

　　systemctl restart ypbind

　　systemctl restart slurmd

3. master 

　　sinfo 查询状态，如果是unkonown或者别的状态需要update

　　scontrol update Node=client[01-05] STATE=RESUME

       slurmcltd 重启，否则提单无效

       systemctl restart slurmctld

4. 重启后遇到slurmctld启动一会就断开的问题，解决办法：

 1） 查看/var/log/slurmctld.log，查看原因，目前遇到的是，job无法打开

 2） 用squeue查看job list，发现是否有nobody或者异常的单子

    3） 用shell（bash）命令将单子全部取消，for i in `seq 10 100`;do scancel "$i"; done

    4) 任务取消后再restart slurmctld

5. munge 服务无法打开，详细信息是找不到文件夹/var/run/munge

  解决方法：手动创建munge文件夹，并 修改权限:chown munge:munge /var/run/munge

  restart munge后即可

6. 找不到SlurmUser，systemctl restart ypbind