day10 -进程间数据的交换

一、概述

　　我们知道不同进程之间内存是不能共享的，要想实现进程间的数据通讯，怎么搞呢，请看下面，

类似，中间需要有一个翻译，例如：一个英国人，一个中国人，需要有一个会说中文，又会说英语的人做翻译。

二、前戏

　　之前我们说了queue，这个是线程queue，它的主要目的是两个线程之间的数据，一个是生产者，一个是消费者的模型，而且你必须是线程。只能在这个主线程内的其他线程访问，出了这个进程，你就不能被访问了。

2.1、进程访问queue

from multiprocessing import Process
import queue

def f(pq):
    q.put("niubi")

if __name__ == "__main__":
    q=queue.Queue()
    p=Process(target=f,args=(q,))
    p.start()
    print(q.get())
    p.join()

===出错信息
D:\51cto\venv\Scripts\python.exe "D:/51cto/day 10/tq&pq.py"
Traceback (most recent call last):
  File "D:/51cto/day 10/tq&pq.py", line 11, in <module>
    p.start()
  File "d:\ProgramData\Anaconda3\Lib\multiprocessing\process.py", line 105, in start
    self._popen = self._Popen(self)
  File "d:\ProgramData\Anaconda3\Lib\multiprocessing\context.py", line 223, in _Popen
    return _default_context.get_context().Process._Popen(process_obj)
  File "d:\ProgramData\Anaconda3\Lib\multiprocessing\context.py", line 322, in _Popen
    return Popen(process_obj)
  File "d:\ProgramData\Anaconda3\Lib\multiprocessing\popen_spawn_win32.py", line 65, in __init__
    reduction.dump(process_obj, to_child)
  File "d:\ProgramData\Anaconda3\Lib\multiprocessing\reduction.py", line 60, in dump
    ForkingPickler(file, protocol).dump(obj)
TypeError: can't pickle _thread.lock objects

2.2、线程Q

import threading,queue


def f(tt):
    q.put("niubi")

if __name__ == '__main__':
    q=queue.Queue()
    p=threading.Thread(target=f,args=(q,))
    p.start()
    print(q.get())
    p.join()

很明显是可以的。由此得出，线程queue传给子进程是不可以的，你以为传给它了，其实传不了，如果你想传的话，必须是进程Queue。

三、进程Q,进程间的通讯

说明：这个Queue是用于进程之间的数据通信，使用方法跟threading里的queue差不多。

from multiprocessing import Process
from multiprocessing import Queue

def f(pq):
    pq.put("niubi")

if __name__ == '__main__':

    q  = Queue()
    p=Process(target=f,args=(q,))
    p.start()
    print(q.get())
    p.join()

提问：父进程的q是怎么传给子进程的？

　　父进程相当于克隆一个Q，把自己的Q克隆了一份交给子进程，子进程这个时候往Q里面放了一份数据，然后父进程又能实际的获取到。但是你克隆了一份是不是就和父进程没有关系了，为什么还能联系在一起呢？但是实际上：等于这两个Q里面的数据又把它序列化了，序列化到一个中间的地方，类似于翻译，然后反序列化给这个父进程这边来了，其实这两个Q就是通过pickle来序列化的，不是一个真正的Q。

小结：

　　两个线程之间可以修改一个数据，不加锁，可能就会出错。现在进程中的Queue，是实现了数据的传递，不是在修改同一份数据，只是实现一个进程的数据传给了另外一个进程。