进程之multiprocessing

进程的状态：

 

* 就绪态：运行的条件都已经慢去，正在等在cpu执行

* 执行态：cpu正在执行其功能

* 等待态：等待某些条件满足，例如一个程序sleep了，此时就处于等待态

 

进程创建：

import multiprocessing

t =multiprocessing.Thread(target = 函数名)

p.join() 表示t进行完毕 也可以用time模块表示例：

time（2）

p.start()

 

Queue的使用

from multiprocessing import Process, Queue

import os, time, random

 

# 写数据进程执行的代码:def write(q):

    for value in ['A', 'B', 'C']:

        print('Put %s to queue...' % value)

        q.put(value)

        time.sleep(random.random())

 

# 读数据进程执行的代码:def read(q):

    while True:

        if not q.empty():

            value = q.get(True)

            print('Get %s from queue.' % value)

            time.sleep(random.random())

        else:

            break

 

if __name__=='__main__':

    # 父进程创建Queue，并传给各个子进程：

    q = Queue()

    pw = Process(target=write, args=(q,))

    pr = Process(target=read, args=(q,))

    # 启动子进程pw，写入:

    pw.start()    

    # 等待pw结束:

    pw.join()

    # 启动子进程pr，读取:

    pr.start()

    pr.join()

    # pr进程里是死循环，无法等待其结束，只能强行终止:

    print('')

    print('所有数据都写入并且读完')

 

进程池

po = pool

po.anply_async(方法名，（args,）)

po.close()

po.join()

 

可以给子进程传递参数，但是进程间变量不共享

 

应用：文件夹copy器（多进程版）

import multiprocessing

import os

import time

import random

 

 

def copy_file(queue, file_name,source_folder_name,  dest_folder_name):

    """copy文件到指定的路径"""

    f_read = open(source_folder_name + "/" + file_name, "rb")

    f_write = open(dest_folder_name + "/" + file_name, "wb")

    while True:

        time.sleep(random.random())

        content = f_read.read(1024)

        if content:

            f_write.write(content)

        else:

            break

    f_read.close()

    f_write.close()

 

    # 发送已经拷贝完毕的文件名字

    queue.put(file_name)

 

 

def main():

    # 获取要复制的文件夹

    source_folder_name = input("请输入要复制文件夹名字:")

 

    # 整理目标文件夹

    dest_folder_name = source_folder_name + "[副本]"

 

    # 创建目标文件夹

    try:

        os.mkdir(dest_folder_name)

    except:

        pass  # 如果文件夹已经存在，那么创建会失败

 

    # 获取这个文件夹中所有的普通文件名

    file_names = os.listdir(source_folder_name)

 

    # 创建Queue

    queue = multiprocessing.Manager().Queue()

 

    # 创建进程池

    pool = multiprocessing.Pool(3)

 

    for file_name in file_names:

        # 向进程池中添加任务

        pool.apply_async(copy_file, args=(queue, file_name, source_folder_name, dest_folder_name))

 

    # 主进程显示进度

    pool.close()

 

    all_file_num = len(file_names)

    while True:

        file_name = queue.get()

        if file_name in file_names:

            file_names.remove(file_name)

 

        copy_rate = (all_file_num-len(file_names))*100/all_file_num

        print("\r%.2f...(%s)" % (copy_rate, file_name) + " "*50, end="")

        if copy_rate >= 100:

            break

    print()

 

 

if __name__ == "__main__":

    main()