基于线程的并行-Python 并行编程学习笔记(一)
前言
最近写一些模拟集群智能的算法,虽然机制简单,但是随着个体的增加,设计的计算量就比较大了,尤其是加上matplotlib进行动态展示,使得运算量骤增,看着画面也比较卡.之前想把算法转化成c++代码,利用qt进行展示,入了坑才发现不是一朝一夕之功🤣😂😂,没办法,还是回到自己熟悉的python上看看能不能优化一下代码.然后买了<<Python 并行编程-第二版>>这本书从头学起,希望用两三个月把这个整个七七八八.我相信我能坚持下去,把这块骨头啃明白.算是一个学习笔记吧,加上一些自己的理解,如果有哪位看官看到此文,发现讲到不对的地方加以批评指正.
基于线程的并行
threading模块提供的Thread类
class threading.Thread(group=None, target=None, name=None, args=(), kwargs={})
主要的参数就三个:
- target:线程要执行的目标函数
- name:线程名
- args:目标函数的参数
下面是一个简单的例子:
import threading
import time
import random
def sleep_out(i):
print("{}号程序开始执行\n".format(i))
num = random.randint(0, 10)
time.sleep(num)
print("{}号程序休息了{}s\n".format(i,num))
if __name__ == "__main__":
threads = []
for i in range(10):
t = threading.Thread(target=sleep_out, args=(i,), name="thread-{}".format(i))
threads.append(t)
for t in threads:
t.start()
for t in threads:
t.join()
-----------------------------------输出-----------------------------
0号程序开始执行
1号程序开始执行
2号程序开始执行
3号程序开始执行
4号程序开始执行
5号程序开始执行
6号程序开始执行
7号程序开始执行
8号程序开始执行
9号程序开始执行
8号程序休息了1s
7号程序休息了4s
6号程序休息了5s
2号程序休息了6s
4号程序休息了7s
0号程序休息了7s
3号程序休息了8s
1号程序休息了10s
9号程序休息了10s
5号程序休息了10s
进程已结束,退出代码0
线程开始执行使用start()方法,一旦线程开始执行,则运行会转入后台,主线程继续执行.而要等待一个线程结束,必须使用join()方法,该方法会让主线程进入等待状态,直到线程执行完毕,主线程才会继续执行.
我们将刚才的程序改写为:
import threading
import time
import random
def sleep_out(i):
print("{}号程序开始执行\n".format(i))
num = random.randint(0, 10)
time.sleep(num)
print("{}号程序休息了{}s\n".format(i,num))
if __name__ == "__main__":
threads = []
for i in range(10):
t = threading.Thread(target=sleep_out, args=(i,), name="thread-{}".format(i))
threads.append(t)
t.start()
t.join()
-----------------------------------输出-----------------------------
0号程序开始执行
0号程序休息了6s
1号程序开始执行
1号程序休息了6s
2号程序开始执行
2号程序休息了8s
3号程序开始执行
3号程序休息了0s
4号程序开始执行
4号程序休息了5s
5号程序开始执行
5号程序休息了1s
6号程序开始执行
6号程序休息了8s
7号程序开始执行
7号程序休息了8s
8号程序开始执行
8号程序休息了10s
9号程序开始执行
9号程序休息了9s
进程已结束,退出代码0
start()方法和join()方法相辅相成,一般不能独立存在.
确定当前线程
使用currentThread().getName()方法会返回当前线程名.
继续在刚才的代码上修改:
import threading
import time
import random
def sleep_out(i):
print("{}号程序开始执行\n".format(i))
print("当前线程为"+threading.currentThread().getName())
num = random.randint(0, 10)
time.sleep(num)
print("{}号程序休息了{}s\n".format(i,num))
if __name__ == "__main__":
threads = []
for i in range(10):
t = threading.Thread(target=sleep_out, args=(i,), name="thread-{}".format(i))
threads.append(t)
t.start()
t.join()
-----------------------------------输出-----------------------------
0号程序开始执行
当前线程为thread-0
0号程序休息了2s
1号程序开始执行
当前线程为thread-1
1号程序休息了2s
2号程序开始执行
当前线程为thread-2
2号程序休息了3s
3号程序开始执行
当前线程为thread-3
3号程序休息了1s
4号程序开始执行
当前线程为thread-4
4号程序休息了3s
5号程序开始执行
当前线程为thread-5
5号程序休息了1s
6号程序开始执行
当前线程为thread-6
6号程序休息了2s
7号程序开始执行
当前线程为thread-7
7号程序休息了1s
8号程序开始执行
当前线程为thread-8
8号程序休息了1s
9号程序开始执行
当前线程为thread-9
9号程序休息了4s
进程已结束,退出代码0
自定义线程类
我们可以创建继承Thread类的子类,再重新定义run()方法,实现自己需要的功能.
示例如下:
import time
import threading
from random import randint
import os
def sleep_out(num):
time.sleep(num)
class MyThreadClass(threading.Thread):
def __init__(self, name, duration):
threading.Thread.__init__(self)
self.name = name
self.duration = duration
def run(self):
print("线程:" + self.name + "正在运行, 进程ID:" + str(os.getpid()))
sleep_out(self.duration)
print("线程" + self.name + "结束!!!")
if __name__ == "__main__":
start_time = time.time()
threads = []
for i in range(10):
t = MyThreadClass(name="thread-{}".format(i), duration=randint(0, 5))
threads.append(t)
for t in threads:
t.start()
for t in threads:
t.join()
print("-----{}-----".format(time.time() - start_time))
----------输出----------
线程:thread-0正在运行, 进程ID:11804
线程thread-0结束!!!
线程:thread-1正在运行, 进程ID:11804
线程:thread-2正在运行, 进程ID:11804
线程:thread-3正在运行, 进程ID:11804
线程:thread-4正在运行, 进程ID:11804
线程:thread-5正在运行, 进程ID:11804
线程:thread-6正在运行, 进程ID:11804
线程:thread-7正在运行, 进程ID:11804
线程:thread-8正在运行, 进程ID:11804
线程:thread-9正在运行, 进程ID:11804
线程thread-6结束!!!线程thread-8结束!!!
线程thread-5结束!!!
线程thread-7结束!!!
线程thread-9结束!!!
线程thread-2结束!!!线程thread-3结束!!!
线程thread-1结束!!!线程thread-4结束!!!
-----5.019770860671997-----
