Python的 I/O多路复用

首先这里只讲I/O多路复用中的epoll的用法，目的是为后续使用asyncio提前声明一些理论支撑。
对于一个I/O操作而言，它会涉及到两个系统对象，一个是调用这个IO的process (or thread)，另一个就是系统内核(kernel)。当一个read/recv读数据的操作发生时，该操作会经历两个阶段：
1）等待数据准备 (Waiting for the data to be ready)
2）将数据从内核拷贝到进程中(Copying the data from the kernel to the process)
正因为以上的物理条件，所以产生以下多种I/O模型：Python

1、阻塞IO（blocking IO）
2、非阻塞IO （nonblocking IO）
3、IO多路复用（IO multiplexing）
4、信号驱动IO（signal driven IO）
5、异步IO（asynchronous IO）

一、阻塞IO(blocking IO)
服务器代码如下：

# !/usr/bin/python
import socket

HOST = '127.0.0.1'
PORT = 8888
# 定义socket类型，网络通信，TCP
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# 套接字绑定的IP与端口
sock.bind((HOST, PORT))
# 开始TCP监听,监听5个请求
sock.listen(5)
while True:
    # 阻塞接受TCP连接，并返回新的套接字与IP地址
    conn, addr = sock.accept()
    while True:
        data = conn.recv(1024)
        if data:
            # processing client request
            conn.send('hello')
        else:
            # 关闭连接
            conn.close()  

从代码中可以看出服务器会阻塞等待，直到客户端发来新的请求，处理完毕后才能接收新的请求。
二、非阻塞IO （nonblocking IO）
服务器代码如下：

import socket

sock = socket.socket()
sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
host = '127.0.0.1'
port = 8888
sock.bind((host, port))
sock.listen(5)

sock.setblocking(False)  # 设置不阻塞
r_list = []  # 用来存储所有来请求server端的conn连接
w_list = {}  # 用来存储所有已经有了请求数据的conn的请求数据

while True:
    try:
        conn, addr = sock.accept()  # 不阻塞，会报错
        if conn not in r_list:
            r_list.append(conn)  # 为了将连接保存起来，不然下次循环的时候，上一次的连接就没有了
    except (BlockingIOError, InterruptedError) as e:
        closed_done_list = []
        # 遍历读列表，依次取出套接字读取内容
        for conn in r_list:
            try:
                data = conn.recv(1024)  # 不阻塞，会报错
                if not data:  # 当一个客户端暴力关闭的时候，会接收到b''
                    conn.close()
                    closed_done_list.append(conn)
                    continue
                else:
                    # 记录所有的client的请求
                    w_list[conn] = data
            except (BlockingIOError, InterruptedError) as e:  # 没有收成功，则继续检索下一个套接字的接收
                continue
            except ConnectionResetError:
                conn.close()
                closed_done_list.append(conn)

        # 遍历写列表，依次取出套接字发送内容

        for conn, data in w_list.items():
            try:
                # processing client request
                conn.send(data)
                closed_done_list.append(conn)
            except (BlockingIOError, InterruptedError) as e:
                continue
        # 清除异常关闭或者已响应的client链接
        for conn in closed_done_list:
            if conn in w_list:
                w_list.pop(conn)
            if conn in r_list:
                r_list.remove(conn)

从代码中可以看出服务器跳过了阻塞等待接收客户端请求链接以及send/recv的过程，而是直接抛出异常，然后用户进程需要不断的主动询问kernel获取数据。
三、多路复用

import socket
import selectors


def handle_request(sock: socket.socket):  # 处理新连接
    conn, addr = sock.accept()
    slt.register(conn, selectors.EVENT_READ, data=handle_client_msg)


def handle_client_msg(sock: socket.socket):  # 处理消息
    data = sock.recv(1024)
    if data:
        print(data.decode())
    else:
        slt.unregister(sock)
        sock.close()


sock = socket.socket(family=socket.AF_INET, type=socket.SOCK_STREAM)
host = '127.0.0.1'
port = 8888
sock.bind((host, port))
sock.listen(5)
slt = selectors.DefaultSelector()
slt.register(fileobj=sock, events=selectors.EVENT_READ, data=handle_request)

while True:
    ready_events = slt.select(timeout=None)
    for event, _ in ready_events:
        # 使用各自的回调函数，分别处理不同的请求响应
        event.data(event.fileobj)

上面使用的是selectors自动根据系统的不同而选择适应的机制，slt.select会根据注册进去的events进行监听其状态，如果有I/O状态可读或是可写，则会返回相应的对象。