用进程池创建子进程

进程少时，手动单个创建进程；

进程多时，用进程池创建进程。

 

用进程池创建子进程

from multiprocessing import Pool

import os, time, random


def worker(msg):
    t_start = time.time()
    print("%s开始执行,进程号为%d" % (msg, os.getpid()))
    # random.random()随机生成0~1之间的浮点数
    time.sleep(random.randrange(3,5))
    t_stop = time.time()
    print(msg, "执行完毕，耗时%0.2f" % (t_stop - t_start))

if __name__ == '__main__':

    po = Pool(3)  # 定义一个进程池，最大进程数3
    for i in range(0, 10):
        po.apply_async(worker, (i,))

    print("----start----")
    po.close()  # 关闭进程池，关闭后po不再接收新的请求
    po.join()  # 等待po中所有子进程执行完成，必须放在close语句之后
    print("-----end-----")

　　

multiprocessing.Pool常用函数解析：

• apply_async(func[, args[, kwds]]) ：使用非阻塞方式调用func（并行执行，堵塞方式必须等待上一个进程退出才能执行下一个进程），args为传递给func的参数列表，kwds为传递给func的关键字参数列表；

• apply(func[, args[, kwds]])：使用阻塞方式调用func

• close()：关闭Pool，使其不再接受新的任务；

• terminate()：不管任务是否完成，立即终止；

• join()：主进程阻塞，等待子进程的退出， 必须在close或terminate之后使用；

 

    po.close()  # 关闭进程池，关闭后po不再接收新的请求
    po.join()  # 等待po中所有子进程执行完成，必须放在close语句之后

　　进程池必须关闭了，子进程才能开始执行。

　　进程池，就是主进程所在的地方，必须等待，否则进程池（主进程）不会等待子进程执行，就即开始终止所有子进程。

在win中，进程池必须创建到

if __name__ == '__main__':中去

案例：进程池拷贝文件夹

import os
from multiprocessing import Pool, Manager


def copy_file(q, file_name, old_folder_name, new_folder_name):
    # print(f"=========>模拟copy文件：从{old_folder_name}——>到{new_folder_name} 文件名：{file_name}")
    # 读文件
    old_f = open(old_folder_name + os.sep + file_name, 'rb')
    content = old_f.read()
    old_f.close()
    # 写文件
    new_f = open(new_folder_name + os.sep + file_name, 'wb')
    new_f.write(content)
    new_f.close()

    # 拷贝完成，写个消息放队列
    q.put(file_name)


def main():
    # 1 获取用户要copy的文件夹名字
    old_folder_name = input("要复制的文件夹名称：")

    # 2 创建一个新的文件夹
    new_folder_name = old_folder_name + "[副本]"
    try:
        os.mkdir(new_folder_name)
    except:
        pass

    # 3 获取文件夹所有待copy的文件名字 listdir()
    file_names = os.listdir(old_folder_name)
    # print(file_names)
    print(len(file_names))

    # 4 创建进程池
    po = Pool(10)
    # 5 创建队列
    q = Manager().Queue()

    # 6 复制原文件夹中的文件到新文件中去
    for file_name in file_names:
        po.apply_async(copy_file, args=(q, file_name, old_folder_name, new_folder_name))

    po.close()
    # po.join()
    all_file_num = len(file_names)
    copy_ok_num = 0
    while True:
        file_name = q.get()
        # print(f"已经copy：{file_name}")
        copy_ok_num += 1
        print("%04d 拷贝进度：%.f %%" % (copy_ok_num, copy_ok_num * 100 / all_file_num))
        if copy_ok_num >= all_file_num:
            print("全部copy完成")
            break

        pass
    pass


if __name__ == '__main__':
    main()