升级salt导致进程kill问题记录

重启salt-minion导致由salt启动的进程kill问题排查

作者:耀耀

blog:https://www.liuyao.me

环境

  1. 服务器系统为centos6及centos7
  2. 服务器服务进程都是由salt-master操作salt-minion启动

一、起因

  1. 服务器从salt-2015.5.11升级到2018.03.03版本
  2. 在升级的过程中导致在centos7上的一些进程被kill了

二、升级脚本(salt.sh)

# cat salt.sh
#!/bin/bash

cd /root && wget -O /root/bootstrap-salt.sh https://bootstrap.saltstack.com && bash /root/bootstrap-salt.sh  > /tmp/bootstrap-salt.log

Cenos6=`cat /etc/redhat-release|grep 6`

if [ ! -n "$Cenos6" ];then

        systemctl restart salt-minion && echo `ps -ef |grep salt|grep '201'` |cut -d" " -f2|xargs kill -9 {} >/tmp/kill.log

else
        /etc/init.d/salt-minion restart && echo `ps -ef |grep salt|grep 'python2.6'` |cut -d" " -f2|xargs kill -9 {} >/tmp/kill.log
fi

二、排查过程

  1. 我们在不同的服务器执行了salt.sh之后发现了在centos7上面的一些服务进程被kill了。之后我们排查是否因为这个脚本导致的问题,经过排查后发现bootstrap-salt.sh执行后是不会导致相关进程被kill

  2. 我们怀疑是不是

    systemctl restart salt-minion && echo `ps -ef |grep salt|grep '201'` |cut -d" " -f2|xargs kill -9 {} >/tmp/kill.log
    

    导致的问题,另外因为我们的进程在被kill -15的时候 会记录日志 我们从日志里发现进程确实是因为kill -15才挂掉的。那我可以认为并不是脚本里的kill -9引起的

  3. 以上我们认为有可能systemctl restart salt-minion引起的,接下来我们重复的执行这条命令,发现一个共同的问题就是只有被kill的进程是由salt-minion启动的时候才会挂掉。如果是由手动启动的进程不会因为执行这个命令而挂掉。

  4. 用starce可以看出进程的系统调用 执行strace -e signal=SIGTERM -p {pid} 之后重启salt-minion 发现进程是被systemd干掉的

    --- SIGTERM {si_signo=SIGTERM, si_code=SI_USER, si_pid=1, si_uid=0} ---
    
  5. 所以这个挂掉的问题 应该是salt-minion和systemd之间的问题

  6. 研究了一下systemd的原理 发现systemctl在restart service的时候,有个killmode参数,默认是control-group,会向控制组内的所有进程发送sigterm。而salt的服务配置里就使用的默认参数,由salt-minion启动的进程都在salt这个组里,所以会导致相关进程被kill

  7. ps axwf -eo pid,user,cgroup 可以看一下是不是crgoup一样

三、总结

因为升级salt版本 minion重启的时候会导致由salt启动的进程挂掉的问题 原因是centos7版本进程有systemd来进行管理 远程的master发送命令给对应系统的minion minion作为父进程启动相关服务 相关服务会copy minion的cgroup作为自己的cgroup 当minion重启的时候 因为killmode参数,默认是control-group,所以systemd会找到和salt-minion一样的cgroup进行 并且让他们停止运行。所以说导致服务挂掉,解决的办法是修改/usr/lib/systemd/system/salt-minion.service 增加KillMode=process 会解决这个问题

相关文档

  1. https://www.jianshu.com/p/44b39aab32d4
  2. https://xieyugui.wordpress.com/2017/09/13/%E9%87%8D%E5%90%AFsalt-minion%E4%BC%9A%E8%BF%9E%E5%90%8Ckill%E5%85%B6%E4%BB%96%E8%BF%9B%E7%A8%8B/
  3. https://github.com/saltstack/salt/issues/22993
posted @ 2019-02-27 14:24  刘耀  阅读(513)  评论(0编辑  收藏  举报