用C写一个web服务器（二） I/O多路复用之epoll-原创手记-慕课网

前言

继续更新“用 C 写一个 web 服务器”项目（上期链接：用C写一个web服务器（一）基础功能），本次更新选择了 I/O 模型的优化，因为它是服务器的基础，这个先完成的话，后面的优化就可以选择各个模块来进行，不必进行全局化的改动了。

I/O模型

接触过 socket 编程的同学应该都知道一些 I/O 模型的概念，linux 中有阻塞 I/O、非阻塞 I/O、I/O 多路复用、信号驱动 I/O 和异步 I/O 五种模型。

其他模型的具体概念这里不多介绍，只简单地提一下自己理解的 I/O 多路复用：简单的说就是由一个进程来管理多个 socket，即将多个 socket 放入一个表中，在其中有 socket 可操作时，通知进程来处理， I/O 多路复用的实现方式有 select、poll 和 epoll。

select/poll/epoll

在 linux下，通过文件描述符（file descriptor, 下 fd）来进行 socket 的操作，所以下文均是对 fd 操作。

首先说最开始实现的 select 的问题：

select 打开的 fd 最大数目有限制，一般为1024，在当前计算系统的并发量前显然有点不适用了。
select 在收到有 fd 可操作的通知时，是无法得知具体是哪个 fd 的，需要线性扫描 fd 表，效率较低。
当有 fd 可操作时，fd 会将 fd 表复制到内核来遍历，消耗也较大。

随着网络技术的发展，出现了 poll：poll 相对于 select，使用 pollfd 表（链表实现）来代替 fd，它没有上限，但受系统内存的限制，它同样使用 fd 遍历的方式，在并发高时效率仍然是一个问题。

最终，epoll 在 Linux 2.6 的内核面世，它使用事件机制，在每一个 fd 上添加事件，当fd 的事件被触发时，会调用回调函数来处理对应的事件，epoll 的优势总之如下：

只关心活跃的 fd，精确定位，改变了poll的时间效率 O(n) 到 O(1);
fd 数量限制是系统能打开的最大文件数，会受系统内存和每个 fd 消耗内存的影响，以当前的系统硬件配置，并发数量绝对不是问题。
内核使用内存映射，大量 fd 向内核态的传输不再是问题。
为了一步到位，也是为了学习最先进的I/O多路复用模型，直接使用了 epoll 机制，接下来介绍一下 epoll 相关基础和自己服务器的实现过程。

epoll介绍

epoll 需要引入<sys/epoll.h>文件，首先介绍一下 epoll 系列函数：

epoll_create

int epoll_create(int size);

创建一个 epoll 实例，返回一个指向此 epoll 实例的文件描述符，当 epoll 实例不再使用时，需要使用close()方法来关闭它。

在最初的实现中， size 作为期望打开的最大 fd 数传入，以便系统分配足够大的空间。在最新版本的内核中，系统内核动态分配内存，已不再需要此参数了，但为了避免程序运行在旧内核中会有问题，还是要求此值必须大于0；

epoll_ctl

int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);

epfd 是通过 epoll_create 返回的文件描述符

op 则是文件描述符监听事件的操作方式，EPOLL_CTL_ADD/EPOLL_CTL_MOD/EPOLL_CTL_DEL 分别表示添加、修改和删除一个监听事件。

fd 为要监听的文件描述符。

event 为要监听的事件，可选事件和行为会在下面描述，它的结构如下：

typedef union epoll_data {
               void        *ptr;
               int          fd;
               uint32_t     u32;
               uint64_t     u64;
           } epoll_data_t;

           struct epoll_event {
               uint32_t     events;      /* epoll事件 */
               epoll_data_t data;        /* 事件相关数据 */
           };

epoll_wait

int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout); 监听 epoll 事件：

events 是 epoll 事件数组，epoll 事件的结构上面已经介绍过。
maxevents 是一次监听获取到的最大事件数目。
timeout 是一次监听中获取不到事件的最长等待时间，设置成 -1 会一直阻塞等待，0 则会立即返回。

epoll行为

在 epoll_ctl 的 event 参数中，事件 events 有如下可选项：

EPOLLIN（可读）、EPOLLOUT（可写）、EPOLLRDHUP（连接关闭）、EPOLLPRI（紧急数据可读），此外 EPOLLERR（错误），EPOLLHUP（连接挂断）事件会被 epoll 默认一直监听。

除了设置事件外，还可以对监听的行为设置：

level trigger：此行为被 epoll 默认支持，不必设置。在 epoll_wait 得到一个事件时，如果应用程序不处理此事件，在 level trigger 模式下，epoll_wait 会持续触发此事件，直到事件被程序处理；
EPOLLET(edge trigger)：在 edge trigger 模式下，事件只会被 epoll_wait 触发一次，如果用户不处理此事件，不会在下次 epoll_wait 再次触发。在处理得当的情况下，此模式无疑是高效的。需要注意的是此模式需求 socket 处理非阻塞模式，下面会实现此模式。
EPOLLONESHOT：在单次命中模式下，对同一个文件描述符来说，同类型的事件只会被触发一次，若想重复触发，需要重新给文件描述符注册事件。
EPOLLWAKEUP：3.5版本加入，如果设置了单次命中和ET模式，而且进程有休眠唤醒能力，当事件被挂起和处理时，此选项确保系统不进入暂停或休眠状态。事件被 epoll_wait 调起后，直到下次 epoll_wait 再次调起此事件、文件描述符被关闭，事件被注销或修改，都会被认为是处于处理中状态。
EPOLLEXCLUSIVE：4.5版本加入，为一个关联到目标文件描述符的 epoll 句柄设置独占唤醒模式。如果目标文件描述符被关联到多个 epoll 句柄，当有唤醒事件发生时，默认所有 epoll 句柄都会被唤醒。而都设置此标识后，epoll 句柄之一被唤醒,以避免“惊群”现象。

当监听事件和行为需求同时设置时，使用运算符 |即可。

代码实现

整体处理逻辑

使用 epoll 时的服务器受理客户端请求逻辑如下：

创建服务器 socket，注册服务器 socket 读事件；
客户端连接服务器，触发服务器 socket 可读，服务器创建客户端 socket，注册客户端socket 读事件；
客户端发送数据，触发客户端 socket 可读，服务器读取客户端信息，将响应写入 socket；
客户端关闭连接，触发客户端 socket 可读，服务器读取客户端信息为空，注销客户端 socket 读事件；
代码实现如下（详细处理方式见 GitHub：我是地址）：

erver_fd = server_start();
    epoll_fd = epoll_create(FD_SIZE);
    epoll_register(epoll_fd, server_fd, EPOLLIN|EPOLLET);// 这里注册socketEPOLL事件为ET模式

    while (1) {
        event_num = epoll_wait(epoll_fd, events, MAX_EVENTS, 0);
        for (i = 0; i < event_num; i++) {
            fd = events[i].data.fd;
            // 如果是服务器socket可读，则处理连接请求
            if ((fd == server_fd) && (events[i].events == EPOLLIN)){
                accept_client(server_fd, epoll_fd);
            // 如果是客户端socket可读，则获取请求信息，响应客户端
            } else if (events[i].events == EPOLLIN){
                deal_client(fd, epoll_fd);
            } else if (events[i].events == EPOLLOUT)
                // todo 数据过大，缓冲区不足的情况待处理
                continue;
        }
    }

需要注意的是，客户端socket在可读之后也是立刻可写的，我这里直接读取一次请求，然后将响应信息 write 进去，没有考虑读数据时缓冲区满的问题。

这里提出的解决方案为：

设置一个客户端 socket 和 buffer 的哈希表；
在读入一次信息缓冲区满时 recv 会返回 EAGIN 错误，这时将数据放入 buffer，暂时不响应。
后续读事件中读取到数据尾后，再注册 socket 可写事件。
在处理可写事件时，读取 buffer 内的全部请求内容，处理完毕后响应给客户端。
最后注销 socket 写事件。

设置epoll ET（edge trigger）模式

上文说过，ET模式是 epoll 的高效模式，事件只会通知一次，但处理良好的情况下会更适用于高并发。它需要 socket 在非阻塞模式下才可用，这里我们实现它。

sock_fd = socket(AF_INET, SOCK_STREAM, 0);

    // 获取服务器socket的设置，并添加"不阻塞"选项
    flags = fcntl(sock_fd, F_GETFL, 0);
    fcntl(sock_fd, F_SETFL, flags|O_NONBLOCK);

    .....
    // 这里注册服务器socket EPOLL事件为ET模式
    epoll_register(epoll_fd, server_fd, EPOLLIN|EPOLLET);

我将处理事件注掉后使用一次客户端连接请求进行了测试，很清晰地说明了 ET模式下，事件只触发一次的现象，前后对比图如下：

图片描述

小结

Mac OS X 操作系统的某些部分是基于 FreeBSD 的，FreeBSD 不支持，MAC 也不支持（不过有相似的 kqueue），跑到开发机上开发的，作为一个最基础的 C learner, 靠着printf()和fflush()两个函数来调试的，不过搞了很久总算是完成了，有用 C 的前辈推荐一下调试方式就最好了。。

另外 epoll 在最新的内核中也更新了些内容，旧的很多博客都没有提到，话说照这样的发展速度，我这篇也会在一段时间后“过时”吧，哈哈~

如果您觉得本文对您有帮助，可以点击下面的推荐支持一下我。博客一直在更新，欢迎关注。

参考：

IO多路复用之epoll总结

epoll精髓

epoll interface detail （很不错的英文文档，推荐）

用C写一个web服务器（二） I/O多路复用之epoll原创