协程

引子

　　上一篇中我们知道GIL锁将导致CPython无法利用多核CPU的优势，只能使用单核并发的执行。很明显效率不高，那有什么办法能

　　提高效率呢？

 

　　效率要高只有一个方法就是让这个当前线程尽可能多的占用CPU时间，如何做到？

　　任务类型可以分为两种

　　　　1.IO密集型

　　　　2.计算密集型

 

　　对于计算密集型任务而言，无需任何操作就能一直占用CPU直到超时为止，没有任何方法能够提高计算密集任务的效率，除非

　　把GIL锁拿掉，让多核CPU并行执行。

 

　　对于IO密集型任务，一旦线程遇到了IO操作CPU就会立马切换到其他线程，而至于切换到哪个线程，应用程序是无法控制的，

　　这样就导致了效率降低。

　　

　　如果想提升效率的话，可以检测到线程的IO操作时，应用程序自发的切换到其他的计算任务，就可以留住CPU

 

一、单线程实现并发

　　单线程实现并发这句话乍一听好像是瞎说

　　首先需要明确并发的定义

 

　　并发：指的是多个任务同时发生，看起来好像是同时都在进行

　　并行：指的是多个任务真正的同时进行

 

　　早起的计算机只有一个CPU，既然CPU可以切线程来实现并发，那么为何不能在线程中切换任务来并发呢？

 

　　上面的引子中提到，如果一个线程能够检测IO操作并且将其设置为非阻塞，并自动切换到其他任务可以提高CPU的利用率，

　　指的就是在单线程下实现并发

 

　如何能够实现并发呢

　　　　并发=切换任务+保存状态，只要找到一种方案，能够在两个任务之间切换执行并且保存状态，那就可以实现单线程并发

 

　　　　python中的生成器就具备这样一个特点，每次调用next都会回到生成器函数中执行代码，这意味着任务之间可以切换，

　　　　并且是基于上一次运行的结果，这意味着生成器会自动保存执行状态

　　

　　　　于是我们就可以利用生成器来实现并发执行　　

def task1():
    while True:
        yield
        print("task1 run")

def task2():
    g = task1()
    while True:
        next(g)
        print("task2 run")

task2()

 

并发虽然实现了，但这对效率的影响是好是坏呢？测试一下

# 两个计算任务，一个采用生成器切换并发执行，一个直接串行调用
import time
def task1():
    a = 0
    for i in range(100000):
        a += 1
        yield

def task2():
    g = task1()
    b = 0
    for i in range(100000):
        b += 1
        next(g)

s = time.time()
task2()
print("并发执行时间",time.time()-s)


# 单线程下串行执行两个计算任务效率反而比并发高，因为并发需要切换和保存
def task1():
    a = 0
    for i in range(100000):
        a += 1

def task2():
    b = 0
    for i in range(100000):
        b += 1

s = time.time()
task1()
task2()
print("串行执行时间",time.time()-s)

可以看到对于纯计算任务而言，单线程并发反而使执行效率下降了一半左右，所以这样的方案对于纯计算的任务而言是没有必要的

 

我们暂且不考虑这样的并发对程序的好处是什么，在上述代码中，使用yield来切换使得代码结构非常混乱，如果是个任务需要切换

，不敢想象！因此有人专门队yield进行了封装，这便有了greenlet模块

 

greenlet模块实现并发

import greenlet
def task1(name):
    print("%s task1 run1" % name)
    g2.switch(name) # 切换至任务2
    print("task1 run2")
    g2.switch() # 切换至任务2

def task2(name):
    print("%s task2 run1" % name)
    g1.switch() # 切换至任务1
    print("task2 run2")

g1 = greenlet.greenlet(task1)
g2 = greenlet.greenlet(task2)
g1.switch("Virgil") # 为任务传参数

 

该模块简化了yield复杂的代码结构，实现了单线程下多任务并发，但是无论直接使用yield还是greenlet都不能检测IO操作，遇到

IO时同样进入阻塞状态，所以此时的并发是没有任何意义的。

 

现在我们需要一种方案，即可检测IO又能实现单线程并发，于是就有了gevent

 

二、协程概述

　　协程：是单线程下的并发，又称之为为线程，线程，英文名Coroutine。一句话说明什么是线程：协程是一种用户态的轻量级

　　　　　线程，即协程是由用户程序自己控制调度的。

 

　　需要强调的是：

　　

1.python的线程属于内核级别的，即由操作系统控制调度（如单线程遇到IO或执行时间过长就会被迫交出cpu执行权限，切换其他线程运行）
2.单线程内开启协程，一旦遇到IO，就会从应用程序级别（而非操作系统）控制切换，以此来提升效率（非IO操作的切换与效率无关）

对此操作系统控制线程的切换，用户在单线程内控制协程的切换

 

优点如下：

1.协程的切换开销更小，属于程序级别的切换，操作系统完全感知不到，因此更加轻量级
2.单线程内就可以实现并发的效果，最大限度的利用cpu

 

缺点如下：

1.协程的本质是单线程下，无法利用多核，可以是一个程序开启多个进程，每个进程内开启多个线程，每个线程内开启协程来尽可能提高效率
2.协程指的是单个线程，因而一旦协程出现阻塞，将会阻塞整个线程

 

gvent协程的使用

import gevent,sys
from gevent import monkey # 导入monkey补丁
monkey.patch_all() # 打补丁
import time

print(sys.path)

def task1():
    print("task1 run")
    time.sleep(3)
    print("task1 over")

def task2():
    print("task2 run")
    time.sleep(1)
    print("task2 over")

g1 = gevent.spawn(task1)
g2 = gevent.spawn(task2)
gevent.joinall([g1,g2])

需要注意：

　　1.协程执行时要想使任务执行则必须对协程对象调用join函数

　　2.有多个任务时，随便调用哪一个的join都会并发的执行所有任务，但是需要注意如果一个存在IO的任务没有被join，

　　   那么该任务将无法正常执行完毕

　　3.monkey补丁的原理是把原始的阻塞模块替换为修改后的非阻塞模块，即偷梁换柱，来实现IO自定切换，所以打补

　　   丁的位置一定要放到导入阻塞模块之前