IO多路复用

好的，我们来深入浅出地讲解一下 I/O 多路复用（I/O Multiplexing）。这是构建高性能网络服务器的核心技术之一。

核心问题：如何高效管理多个连接？

想象一个网络服务器（如Web服务器），它需要同时处理成千上万个客户端的连接。为每个连接创建一个线程或进程（传统阻塞式方式）会带来巨大问题：

1. 资源消耗：每个线程都需要占用内存（如MB级别的栈空间），上下文切换开销巨大。
2. 可扩展性差：当连接数达到万级别时，线程数也随之暴涨，系统大部分资源将浪费在线程调度上，无法应对更多连接。

I/O 多路复用就是为了解决这个问题而生的。

---

什么是 I/O 多路复用？

核心思想：用一个单独的进程（或线程）来“监视”大量的文件描述符（fd，即网络连接），一旦某个描述符就绪（读就绪或写就绪），就能够通知程序进行相应的读写操作。

这样，一个服务端进程/线程就可以同时处理多个客户端连接，极大地提升了系统的可扩展性。

生活中的比喻：

• 多进程/多线程模型：一个服务员（线程）服务一桌客人（连接），从点菜到上菜全程负责。客人很多时，需要请大量服务员，成本高且管理混乱。
• I/O 多路复用模型：一个服务员（线程） 负责监听一个呼叫铃（多路复用器）。所有客人的桌上都有一个呼叫铃。客人准备好点菜（读就绪）或菜做好了可以上菜（写就绪）时，就按一下铃。服务员听到铃响，就去查看是哪桌客人（哪个fd就绪），并进行相应服务。一个服务员可以高效照顾整个餐厅。

---

三种主要的 I/O 多路复用技术

在 Linux 上，主要有 select, poll, 和 epoll 三种机制。它们是不断演进和发展的。

1. select

最早的解决方案。

#include <sys/select.h>

int select(int nfds, fd_set *readfds, fd_set *writefds,
           fd_set *exceptfds, struct timeval *timeout);

// 配套的宏：FD_ZERO(), FD_SET(), FD_ISSET(), FD_CLR()

工作流程：

1. 程序将要监视的 fd 集合通过 fd_set 结构体传给 select。
2. select 会阻塞，直到有 fd 就绪或超时。
3. 当 select 返回后，程序需要遍历整个 fd 集合，使用 FD_ISSET() 来查找哪些 fd 就绪了。

缺点：

• fd 数量限制：fd_set 的大小是固定的（通常为 1024）。
• 性能线性下降：每次调用都需要将整个巨大的 fd 集合从用户态拷贝到内核态。返回后又要遍历所有 fd 来找出就绪的，效率随 fd 数量增加而线性下降。
• 内核无法直接知道哪些fd就绪，需要遍历整个集合。

2. poll

对 select 的改进，解决了数量限制问题。

#include <poll.h>

int poll(struct pollfd *fds, nfds_t nfds, int timeout);

struct pollfd {
    int   fd;         /* 文件描述符 */
    short events;     /* 请求的事件 (POLLIN, POLLOUT) */
    short revents;    /* 返回的事件 */
};

工作流程：
与 select 类似，但使用 pollfd 数组，没有最大数量限制。

优点：

• 解决了 select 的 fd 数量限制。

缺点：

• 和 select 一样，每次调用仍需拷贝整个 fds 数组到内核。
• 返回后仍需遍历整个 fds 数组来查找就绪的 fd。性能问题依然存在。

3. epoll (Linux 特有，最优方案)

epoll 是 Linux 2.6 引入的，彻底解决了 select 和 poll 的性能瓶颈。

它提供了三个系统调用：

1. epoll_create1：创建一个 epoll 实例，返回一个文件描述符。

   int epoll_fd = epoll_create1(0);
   

2. epoll_ctl：向 epoll 实例添加、修改或删除要监听的 fd。

   #include <sys/epoll.h>
   // op: EPOLL_CTL_ADD, EPOLL_CTL_MOD, EPOLL_CTL_DEL
   epoll_ctl(epoll_fd, EPOLL_CTL_ADD, new_socket_fd, &event);
   

   关键：这是在初始化阶段完成的，而不是每次调用时都传递所有 fd。避免了大量重复的数据拷贝。

3. epoll_wait：等待事件发生。它只返回就绪的 fd 信息，而无需遍历所有监听的 fd。

   int num_ready = epoll_wait(epoll_fd, events, MAX_EVENTS, timeout);
   // events 是一个数组，epoll_wait 返回时，里面只包含了就绪的 fd 信息。
   

epoll 的工作模式：

• 水平触发 (LT - Level-Triggered)：默认模式。只要一个 fd 处于可读/可写状态，epoll_wait() 就会每次都通知你。类似于 select/poll 的行为。
• 边缘触发 (ET - Edge-Triggered)：只在 fd 状态发生变化时（例如从不可读变为可读）通知一次。直到你通过读写操作导致 EAGAIN 错误，之后的状态变化才会再次通知。
  • 要求：必须使用非阻塞I/O，并且必须一次性读完或写完所有数据。
  • 优点：可以减少 epoll_wait 的被触发次数，在某些场景下性能更高。

---

三者的对比总结

特性	select	poll	epoll
最大连接数	有限制 (通常 1024)	无限制	无限制
工作效率	线性遍历 O(n)	线性遍历 O(n)	回调通知 O(1)
fd数据拷贝	每次调用都拷贝整个集合到内核	每次调用都拷贝整个数组到内核	仅初始化时注册一次
编程复杂度	低	中	较高（尤其是ET模式）
跨平台	几乎所有平台	大多数Unix-like系统	仅Linux

结论：在现代 Linux 高性能网络程序中，epoll 是绝对的首选。

---

编程模型（Reactor 模式）

使用 epoll 的服务器典型工作流程（Reactor 模式）如下：

// 伪代码风格

int epoll_fd = epoll_create1(0);
// 1. 创建监听socket，bind，listen
int listen_sock = create_and_bind(...);
listen(listen_sock);

// 2. 将监听socket添加到epoll，监听其可读事件（代表有新连接）
struct epoll_event event;
event.events = EPOLLIN;
event.data.fd = listen_sock;
epoll_ctl(epoll_fd, EPOLL_CTL_ADD, listen_sock, &event);

// 3. 事件循环
struct epoll_event events[MAX_EVENTS];
while (1) {
    int n = epoll_wait(epoll_fd, events, MAX_EVENTS, -1); // 阻塞等待
    for (int i = 0; i < n; i++) { // 遍历就绪的事件，无需遍历所有fd！
        if (events[i].data.fd == listen_sock) {
            // 4. 处理新连接
            int conn_sock = accept(listen_sock);
            set_nonblocking(conn_sock); // 通常设置为非阻塞
            // 将新连接也加入epoll监控
            event.events = EPOLLIN | EPOLLET; // 监听读，并使用ET模式
            event.data.fd = conn_sock;
            epoll_ctl(epoll_fd, EPOLL_CTL_ADD, conn_sock, &event);
        } else {
            // 5. 处理已连接客户端的可读/可写事件
            if (events[i].events & EPOLLIN) {
                // 可读，从socket读取数据
                handle_read(events[i].data.fd);
            }
            if (events[i].events & EPOLLOUT) {
                // 可写，向socket写入数据
                handle_write(events[i].data.fd);
            }
            // ... 错误处理 EPOLLERR, EPOLLHUP
        }
    }
}

---

在其他平台上的对应物

• macOS / FreeBSD：kqueue，功能和性能与 epoll 类似。
• Windows：I/O Completion Ports (IOCP)，这是一种Proactor模式，与 Reactor 模式理念不同但目标一致，也是异步I/O的高效实现。

总结

I/O 多路复用（尤其是 epoll） 通过一个线程管理所有连接的核心机制，解决了 C10K（甚至 C10M）问题，是构建像 Nginx、Redis、Memcached 这类高性能网络服务的基础。理解并掌握它是成为高级后端开发者的必备技能。