94.协程

目录

• 协程理论
  • 一、协程的概念以及准备工作
  • 二、验证切换是否就一定提升效率
  • 三、gevent模块
    • 3.1 概念
    • 3.2安装
    • 3.3 使用方法
  • 四、协程实现TCP服务端的并发

协程理论

一、协程的概念以及准备工作

进程:资源单位
线程:执行单位
协程:这个概念完全是程序员自己发明出来的，根本不存在

进程和线程 大家平时了解的都比较多，而协程算是一种轻量级进程，但又不能叫进程，因为操作系统并不知道它的存在。什么意思呢，就是说，协程像是一种在程序级别来模拟系统级别的进程，由于是单进程，并且少了上下文切换，于是相对来说系统消耗很少，而且网上的各种测试也表明，协程确实拥有惊人的速度。并且在实现过程中，协程可以用以前同步思路的写法，而运行起来确是异步的，也确实很有意思。话说有一种说法就是说进化历程是：多进程->多线程->异步->协程

单线程下实现并发：
我们程序员自己再代码层面上检测我们所有的IO操作，一旦遇到IO了 我们在代码级别完成切换，这样给CPU的感觉是你这个程序一直在运行 没有IO，从而提升程序的运行效率

多道技术：切换+保存状态
CPU两种切换情况：
1.程序遇到IO时进行切换
2.程序长时间占用时进行切换

切换：
切换不一定是提升效率 也有可能是降低效率
IO切换：提升效率
没有IO切换：降低效率

保存状态：
保存上一次我执行的状态 下一次来接着上一次的操作继续往后执行
我们之前学过yield，可以进行状态的保存

二、验证切换是否就一定提升效率

import time

# 串行执行计算密集型的任务   1.2372429370880127
def func1():
    for i in range(10000000):
        i + 1

def func2():
    for i in range(10000000):
        i + 1

start_time = time.time()
func1()
func2()
print(time.time() - start_time)

切换 + yield  2.1247239112854004
import time


def func1():
    while True:
        10000000 + 1
        yield


def func2():
    g = func1()  # 先初始化出生成器
    for i in range(10000000):
        i + 1
        next(g)

start_time = time.time()
func2()
print(time.time() - start_time)

三、gevent模块

3.1 概念

• （1）猴子补丁的由来 。猴子补丁的这个叫法起源于 Zope 框架，大家在修正 Zope 的 Bug 的时候经常在程序后面追加更新部分，这些被称作是 “杂牌军补丁(guerillapatch)”，后来 guerilla 就渐渐的写成了 gorllia(猩猩)，再后来就写了 monkey(猴子)，所以猴子补丁的叫法是这么莫名其妙的得来的。 后来在动态语言中，不改变源代码而对功能进行追加和变更，统称为“猴子补丁”。所以猴子补丁并不是 Python 中专有的。猴子补丁这种东西充分利用了动态语言的灵活性，可以对现有的语言Api 进行追加，替换，修改 Bug，甚至性能优化等等。 使用猴子补丁的方式，gevent 能够修改标准库里面大部分的阻塞式系统调用，包括 socket、ssl、threading 和 select 等模块，而变为协作式运行。也就是通过猴子补丁的 monkey.patch_xxx() 来将 python 标准库中 模块 或 函数 改成 gevent 中的响应的具有协程的协作式对象。这样在不改变原有代码的情况下，将应用的阻塞式方法，变成协程式的。
• （2）猴子补丁使用时的注意事项 。猴子补丁的功能很强大，但是也带来了很多的风险，尤其是像 gevent 这种直接进行 API替换的补丁，整个 Python 进程所使用的模块都会被替换，可能自己的代码能 hold 住，但是其它第三方库，有时候问题并不好排查，即使排查出来也是很棘手，所以，就像松本建议的那样，如果要使用猴子补丁，那么只是做功能追加，尽量避免大规模的 API 覆盖。 虽然猴子补丁仍然是邪恶的(evil)，但在这种情况下它是 “有用的邪恶(useful evil)”。

3.2安装

pip3 install gevent

3.3 使用方法

from gevent import monkey;monkey.patch_all()
import time
from gevent import spawn

"""
gevent模块本身无法检测常见的一些io操作
在使用的时候需要你额外的导入一句话
from gevent import monkey
monkey.patch_all()
又由于上面的两句话在使用gevent模块的时候是肯定要导入的
所以还支持简写
from gevent import monkey;monkey.patch_all()
"""


def heng():
    print('哼')
    time.sleep(2)
    print('哼')


def ha():
    print('哈')
    time.sleep(3)
    print('哈')

def heiheihei():
    print('heiheihei')
    time.sleep(5)
    print('heiheihei')


start_time = time.time()
g1 = spawn(heng)
g2 = spawn(ha)
g3 = spawn(heiheihei)
g1.join()
g2.join()  # 等待被检测的任务执行完毕 再往后继续执行
g3.join()
# heng()
# ha()
# print(time.time() - start_time)  # 5.005702018737793
print(time.time() - start_time)  # 3.004199981689453   5.005439043045044

四、协程实现TCP服务端的并发

# 服务端
from gevent import monkey;monkey.patch_all()
import socket
from gevent import spawn


def communication(conn):
    while True:
        try:
            data = conn.recv(1024)
            if len(data) == 0: break
            conn.send(data.upper())
        except ConnectionResetError as e:
            print(e)
            break
    conn.close()


def server(ip, port):
    server = socket.socket()
    server.bind((ip, port))
    server.listen(5)
    while True:
        conn, addr = server.accept()
        spawn(communication, conn)


if __name__ == '__main__':
    g1 = spawn(server, '127.0.0.1', 8080)
    g1.join()

    
# 客户端
from threading import Thread, current_thread
import socket


def x_client():
    client = socket.socket()
    client.connect(('127.0.0.1',8080))
    n = 0
    while True:
        msg = '%s say hello %s'%(current_thread().name,n)
        n += 1
        client.send(msg.encode('utf-8'))
        data = client.recv(1024)
        print(data.decode('utf-8'))


if __name__ == '__main__':
    for i in range(500):
        t = Thread(target=x_client)
        t.start()

我们编程的理想状态:
我们可以在多进程下面开设多线程，多线程下面再开设协程序，从而使我们的程序执行效率提升