python支持多线程多进程编程,标准库模块threading使得python的多线程编程变得容易,支持很多功能,在python2.6后,python新添加了多进程的标准库模块multiprocessing,功能非常类似threading。
下面介绍multiprocessing模块的一些常用类和方法。
1、multiprocessing.Process
该类原型如下:
class multiprocessing.Process(group=None, target=None, name=None, args=(), kwargs={})
group参数通常为None,仅仅是为兼容threading.Thread。
target为可调用对象,被run()函数调用,一般用法就是将函数传给该参数,交给子进程运行。
name为进程名,如不指定,默认为Process-1,Process-2....这样的名字,数字随自己查数量依次递增。
args为target调用的参数元祖。
kwargs为target调用的关键字参数字典。
Process类生成一个process对象,并运行在一个新的单独的进程内。
一个简单的使用例子:
1 from multiprocessing import Process 2 import time 3 4 def timetask(times): 5 time.sleep(times) 6 print time.localtime() 7 8 if __name__ == '__main__': 9 arg = 5 10 p = Process(target = timetask, args = (arg,)) 11 p.start() 12 p.join()
每个process对象最多只能调用一次start()方法,join([timeout])方法会阻塞调用process对象的进程,直到timeout时间超时,或者process进程退出。如果timeout设置为None,则无超时时间。对于linux操作系统的进程管理,父进程会等待子进程退出,并收回子进程的资源,然后父进程再退出。如果父进程先于子进程退出,则子进程会被init进程接管。如果父进程没有退出也没有回收子进程资源,则子进程会一直停留在僵死状态。这里join方法就是阻塞父进程,等待子进程执行完毕。
如果在子进程里面要接受标准输入(如调用raw_input函数),这时候会有问题。因为标准输入是被父进程占用,因此这里子进程无法从标准输入读取数据。
一个解决办法是将标准输入描述符,传入子进程函数:
1 from multiprocessing import Process 2 import sys, os 3 import time 4 5 def intask(x, fileno): 6 sys.stdin = os.fdopen(fileno) 7 while True: 8 in_char = raw_input("Enter to continue, Q to quit: ") 9 if in_char.upper() == 'Q': 10 break 11 print x * x 12 13 if __name__ == '__main__': 14 fn = sys.stdin.fileno() 15 arg = 5 16 p = Process(target = intask, args = (arg, fn)) 17 p.start() 18 p.join()
开启多个进程并行执行:
1 from multiprocessing import Process 2 import sys, os 3 import time 4 5 def timetask(times): 6 time.sleep(times) 7 print time.localtime() 8 9 10 def works(func, arg, worknum): 11 proc_record = [] 12 for i in range(worknum): 13 p = Process(target = func, args = (arg,)) 14 p.start() 15 proc_record.append(p) 16 for p in proc_record: 17 p.join() 18 19 20 if __name__ == '__main__': 21 arg = 5 22 procs = 4 23 works(timetask, arg, procs)
程序同时开启4个进程并行执行timetask函数,这里需要注意的是先把所有的进程对象执行了start()方法后,再执行join(),如果对每个进程对象一起执行start()和join(),那么单个进程对象start()后,会马上阻塞父进程,导致无法马上对下一个进程对象执行start()。结果就是子进程并不是并行运行,而是依次运行。
有时间再更新multiprocessing模块的其他类和方法