从multiprocessing源码理解其对SIGINT信号的屏蔽

问题引入

由于python的GIL（全局解释器锁，Global Interpreter Lock），GIL在任意时刻只运行单个python线程执行，python的多线程并不能真正的利用多核CPU，无论有多少个核，程序都职能在一个处理器上运行。
要想利用多核并行计算，就必须使用多进程（直白点讲就是同时运行多个python程序）。关于多进程，python自带了multiprocessing。但在使用中发现，常用的Ctrl+C结束python程序的方法对multiprocessing是不适用的。下面就分析一下这个问题背后的原因。

想用Ctrl+C结束一个python程序，有两种方法。

处理KeyboardInterrupt异常

当用户键盘输入Ctrl+C时，python程序会抛出KeyboardInterrupt异常。只需要捕获这个异常时结束程序即可。

import sys

count=0
try:
    while True:
        count+=1
        print(count)
except KeyboardInterrupt as e:
    print('end')
    sys.exit(0)# 结束进程

处理SIGINT信号

用户按下Ctrl+C，linux内核会向进程发送SIGINT信号，只需在信号处理函数内退出即可。

import signal
import sys

def signal_handler(signal, frame):
    #print('end')# 注意，不能在信号处理函数内使用不可重入函数
    x = 3
    sys.exit(0)

signal.signal(signal.SIGINT, signal_handler)

count=0
while True:
    count+=1
    print(count)

multiprocessing多进程编程

下面是一个用multiprocessing写的多进程处理程序。

import multiprocessing
import time

def func(msg):
    while True:
        print('process-{}'.format(msg))
        time.sleep(1)

if __name__ == "__main__":
    P = multiprocessing.Pool(processes=4)# 4 threads
    for i in range(10):
        P.apply_async(func, (i,))
    P.close()
    P.join()

为了让该程序能处理Ctrl+C，尝试了上面两种方法。加KeyboardInterrupt异常处理，SIGINT信号处理，发现都不行。这是为什么呢？
Ctrl+C本质上就是让内核发送SIGINT信号，那我们先了解一下linux信号的机制。

linux信号机制

信号是进程间通信的一种机制。OS内核也可以因为内部事件，给进程发送信号（检查进程表中进程的状态，有选择的发送），通知进程发生了某个事件。

multiprocessing源码解释

在上例使用multiprocessing的代码中，我们首先创建进程池P，然后异步执行进程。
这两步都做了些什么呢，我们可以到multiprocessing源码中看看。multiprocessing是python自带的库，所以其源码一般位于python安装路径的lib下，如C:\Python27\Lib\multiprocessing。通过源码可以发现：

  • 创建进程池P: 创建了Pool对象。
  • 异步执行进程: 执行Pool对象的成员函数apply_async，返回结果为ApplyResult类型的对象。

在ApplyResult类的构造函数__init__中，第一行代码是threading.Condition(threading.Lock())。Condition对象初始化时，就是被lock住的，SIGINT信号就没法被lock住后面的代码捕获，所以Ctrl+C对multiprocessing无效。

结论

multiprocessing创建的每个进程，在进程执行函数结束（返回）之前，都是被lock住的。被lock住的代码没法接收到SIGINT信号。
关于怎么解决这个问题，[3]中有一些workaround。最好的解决办法，应该就是其中提到的用python3的concurrent.futures包来做多进程，而不是用multiprocessing。

参考

posted on 2017-11-07 20:51  ybdesire  阅读(231)  评论(0)    收藏  举报

导航