多进程与多线程 python

进程之间的数据传递

全局变量在多个进程中不共享,进程之间的数据是独立的,默认情况下互不影响

用 Queue 实现多进程之间的数据传递

Queue 是多进程安全的队列,可以使用 Queue 实现多进程之间的数据传递。

from multiprocessing import Queue

put 方法用以插入数据到队列中, put 方法还有两个可选参数: blocked 和 timeout。如果 blocked 为 True(默认值),并且 timeout 为正值,该方法会阻塞 timeout 指定的时间,直到该队列有剩余的空间。如果超时,会抛出 Queue.full 异常。如果 blocked 为 False,但该 Queue 已满,会立即抛出 Queue.full 异常

get 方法可以从队列读取并且删除一个元素。同样, get 方法有两个可选参数: blocked和 timeout。如果 blocked 为 True(默认值),并且 timeout 为正值,那么在等待时间内没有取到任何元素,会抛出 Queue.Empty 异常。如果 blocked 为 False,有两种情况存在,如果Queue 有一个值可用,则立即返回该值,否则,如果队列为空,则立即抛出Queue.Empty 异常

另,如果使用 Pool 创建进程,就需要使用 multiprocessing.Manager()中的 Queue()来完成进程间的通信,而不是 multiprocessing.Queue(),否则会抛出异常

from multiprocessing import Manager,Pool
import time
 
def write(q):
	#将列表中的元素写入队列中
	for i in ["a","b","c"]:
		print('开始写入值%s' % i)
		q.put(i)
		time.sleep(1)
 
#读取
def read(q):
	print('开始读取')
	while True:
		if not q.empty():
			print('读取到:',q.get())
			time.sleep(1)
		else:
			break
 
if __name__=='__main__':
	#创建队列
	q=Manager().Queue()
	#创建进程池
	p=Pool(3)
	#使用apply阻塞模式创建进程
	p.apply(write,(q,))
	p.apply(read,(q,))
	p.close()
	p.join()

但apply_async其实可以返回参数
另,我使用的时候是自定义的Process,可以传到self.q中使用。

posted @ 2022-10-29 00:35  束时  阅读(33)  评论(0)    收藏  举报