python进程池
当需要创建的子进程数量不多时,可以直接利用multiprocessing中的Process动态成生多个进程,但如果是上百甚至上千个目标,手动的去创建进程的工作量巨大,此时就可以用到multiprocessing模块提供的Pool方法。
初始化Pool时,可以指定一个最大进程数,当有新的请求提交到Pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到指定的最大值,那么该请求就会等待,直到池中有进程结束,才会用之前的进程来执行新的任务,请看下面的实例:
import multiprocessing
import time
import os
import random
def test1(msg):
t_start = time.time()
print("%s开始执行,进程号为%d" % (msg, os.getpid()))
time.sleep(random.random() * 2)
t_stop = time.time()
print("%s执行完成,耗时%.2f" % (msg, t_stop - t_start))
if __name__ == "__main__":
po = multiprocessing.Pool(3)
for i in range(0, 10):
# Pool().apply_async(要调用的目标,(传递给目标的参数元祖,))
# 每次循环将会用空闲出来的子进程去调用目标
po.apply_async(test1, (i,))
print("-----start-----")
po.close() # 关闭进程池,关闭后po不再接收新的请求
po.join() # 等待po中所有子进程执行完成,必须放在close语句之后
print("-----end-----")
运行结果:
-----start-----
0开始执行,进程号为40291
1开始执行,进程号为40292
2开始执行,进程号为40293
2执行完成,耗时0.59
3开始执行,进程号为40293
0执行完成,耗时1.21
4开始执行,进程号为40291
1执行完成,耗时1.56
5开始执行,进程号为40292
3执行完成,耗时1.58
6开始执行,进程号为40293
5执行完成,耗时1.36
7开始执行,进程号为40292
4执行完成,耗时1.73
8开始执行,进程号为40291
6执行完成,耗时1.34
9开始执行,进程号为40293
8执行完成,耗时0.71
9执行完成,耗时0.36
7执行完成,耗时1.21
-----end-----
multiprocessing.Pool常用函数解析:
- apply_async(func[, args[, kwds]]) :使用非阻塞方式调用func(并行执行,堵塞方式必须等待上一个进程退出才能执行下一个进程),args为传递给func的参数列表,kwds为传递给func的关键字参数列表;
- close():关闭Pool,使其不再接受新的任务;
- terminate():不管任务是否完成,立即终止;
- join():主进程阻塞,等待子进程的退出, 必须在close或terminate之后使用;
进程池中的Queue#
如果要使用Pool创建进程,就需要使用multiprocessing.Manager()中的Queue(),而不是multiprocessing.Queue(),否则会得到一条如下的错误信息:
RuntimeError: Queue objects should only be shared between processes through inheritance.
下面的实例演示了进程池中的进程如何通信:
import os
import multiprocessing
import time
def write(q):
print("write启动(%s),父进程为(%s)" % (os.getpid(), os.getppid()))
for i in "python":
q.put(i)
def read(q):
print("read启动(%s),父进程为(%s)" % (os.getpid(), os.getppid()))
for i in range(q.qsize()):
print("read从Queue获取到消息:%s" % q.get(True))
if __name__ == "__main__":
print("(%s) start" % os.getpid())
q = multiprocessing.Manager().Queue()
po = multiprocessing.Pool()
po.apply_async(write, args=(q,))
time.sleep(2)
po.apply_async(read, args=(q,))
po.close()
po.join()
print("(%s) end" % os.getpid())
运行结果:
(41888) start
write启动(41894),父进程为(41888)
read启动(41895),父进程为(41888)
read从Queue获取到消息:p
read从Queue获取到消息:y
read从Queue获取到消息:t
read从Queue获取到消息:h
read从Queue获取到消息:o
read从Queue获取到消息:n
(41888) end
作者:coder-qi
出处:https://www.cnblogs.com/coder-qi/p/python-process-pool.html
版权:本作品采用「署名-非商业性使用-相同方式共享 4.0 国际」许可协议进行许可。
【推荐】AI 的力量,开发者的翅膀:欢迎使用 AI 原生开发工具 TRAE
【推荐】2025 HarmonyOS 鸿蒙创新赛正式启动,百万大奖等你挑战
【推荐】博客园的心动:当一群程序员决定开源共建一个真诚相亲平台
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 本可避免的P1事故:Nginx变更导致网关请求均响应400
· 还在手写JSON调教大模型?.NET 9有新玩法
· 复杂业务系统线上问题排查过程
· 通过抓包,深入揭秘MCP协议底层通信
· 记一次.NET MAUI项目中绑定Android库实现硬件控制的开发经历
· 推荐 6 款基于 .NET 开源的串口调试工具,调试效率提升利器!
· 《HelloGitHub》第 112 期
· 千万级的大表如何新增字段?
· AI 的力量,开发者的翅膀:欢迎使用字节旗下的 AI 原生开发工具 TRAE
· 大模型的JSON之殇:从脆弱的API调用到稳健的未来