Python multiprocessing模块的Pool类来代表进程池对象

#-*-coding:utf-8-*-
'''multiprocessing模块提供了一个Pool类来代表进程池对象
    1、Pool可以提供指定数量的进程供用户调用，默认大小是CPU的核心数；
    2、当有新的请求提交到Pool中，如果池还没有满，name就会创建一个新的进程用来执行改请求；
    3、但如果池中的进程数已经达到规定最大值，那么该请求就会等待池中有进程结束，才会创建新的进程。
'''
from multiprocessing import Pool
import os,time,random
def run_task(name):
    print("任务：%s(%s)运行..."%(name,os.getpid()))
    time.sleep(random.random()*3)
    print("任务：%s 结束！"%name)
if __name__=="__main__":
    print("当前进程ID： %s" %os.getpid())
    p=Pool(processes=3)
    for i in range(5):
        p.apply_async(run_task,args=(i,))
        print("等待所有进程结束。")
        p.close()
        p.join()
        print("所有进程结束")
'''Pool对象调用join（）方法会等待所有子进程执行完毕，调用join（）之前
必须先调用close(),调用close（）之后就不能继续添加新的Process了''

 

 

摘自《Python爬虫开发与项目实战》