Siege——多线程编程最佳实例
在英语中，“Siege”意为围攻、包围。同时Siege也是一款使用纯C语言编写的开源WEB压测工具，适合在GNU/Linux上运行，并且具有较强的可移植性。之所以说它是多线程编程的最佳实例，主要原因是Siege的实现原理中大量运用了多线程的各种概念。Siege代码中用到了互斥锁、条件变量、线程池、线程信号等很多经典多线程操作，因此对于学习多线程编程也大有裨益。最近花了一些时间学习到了Siege的源代码，本文将介绍一下Siege压测工具的内部原理，主要供系统测试同学、以及学习多线程编程的同学们参考。
一、工具背景
Siege是一名叫做Jeff Fulmer的伙计发起的开源项目，他的主页是：http://www.joedog.org/ 。从页面上看，Jeff Fulmer自从1999年起便开始“serving the Internets”，也算是一名老程序员了。Siege可谓是作者最杰出的作品。这款压测工具的名称“围攻”也比较生动形象展示了工具用途，即“围攻web服务器”。
Siege使用多线程实现，支持随机访问多个URL，可以通过控制并发数、总请求数（or压测时间）来实现对web服务的压测。Siege支持http，https，ftp三种请求方式，支持GET和POST方法，压测方式为同步压测，全部源代码总共13000行。功能还是非常全面的，很适合web开发在服务器开发完成后进行自测时使用。
二、工具使用
该工具主要在Linux环境下使用，下载链接为：http://download.joedog.org/siege/ 。安装方式和正常的linux环境软件安装步骤大致相同，先解压缩，再 config->make->make install。
$ tar –xzvf siege-3.0.8.tar.gz $ cd siege-3.0.8 $ ./config $ make $ make install
在安装中需要注意的是make和make install可能会要求管理员权限，所以可能需要在make 和make install前面加上sudo。
使用方法如下：
siege [options] 或者 siege [options] URL其中options可选项有：
-V --version 打印版本信息 -h --help 打印帮助信息 -v --verbose 在测试过程中输出更多的通知信息 -C --config 打印当前的配置信息（siege有一个名为.siegerc的配置文件） -q --quite 此选项会覆盖掉--verbose，是安静模式，在测试中减少信息输出 -g --get 显示http头信息，适用于debug -c --concurrent 最为常用的参数，每次测试必设置，并发数量，例 -c10代表10个并发 -i --internet 随机点击URL，在同时测试多个URL时可以使用，模拟用户随机访问的情形 -b --benchmark 每个请求之间没有延时，也是很常用的设置 -t --time 非常常用的参数，设置测试的时间，默认以分钟为单位，其他单位要自己设置，例如 -t10s，测试持续10秒 -r --reps 非常常用的参数，指定了测试几个回合结束，本参数和-t都可用来设置测试结束条件。 -f --file 指定一个存放URL链接的文件。siege支持随机访问多个url，因此这些url链接在文件中提供，较为常用。 -l --log 指定log文件，如果没有指定的话siege也有默认文件保存位置，文件名siege.log -d --delay 指定时间延迟，在每个请求发出后，再随机延迟一段时间再发下一个 -H --header 指定http请求头部的一些内容 -A --user-agent 指定http请求中user-agent字段内容 -T --content-type 指定http请求中的content-type字段内容
上面列了一大坨参数，其实还没有列全，有一些更少用的没有列出来。实际上，如果只是简单使用的话，大部分都不需要搞清楚。上文中有几个常用的功能选项已经注明（-b, -c, -t, -r, -f），掌握这几个基本就够用了。我们先来简单使用一下，有一个更清楚的认识。
horstxu@horstxu-Lenovo-G400:~/Downloads/siege-3.0.8$ siege http://www.[某个网站].com -c10 -t5s -b ** SIEGE 3.0.8 ** Preparing 10 concurrent users for battle. The server is now under siege... HTTP/1.1 200 0.14 secs: 1917 bytes ==> GET / HTTP/1.1 200 0.15 secs: 1917 bytes ==> GET / …………………… HTTP/1.1 200 0.16 secs: 1917 bytes ==> GET / Lifting the server siege... done. Transactions: 325 hits Availability: 100.00 % Elapsed time: 4.89 secs Data transferred: 0.59 MB Response time: 0.15 secs Transaction rate: 66.46 trans/sec Throughput: 0.12 MB/sec Concurrency: 9.85 Successful transactions: 325 Failed transactions: 0 Longest transaction: 0.21 Shortest transaction: 0.11
上面省略号省略了一些冗余的输出，并且我们屏蔽网站域名免得打广告。在上面的测试中，我们设置了10个并发用户，测试5秒时间，并且每个请求之间没有时延，也就是收到回复后马上发出下一个。测试的结果是，4.89秒内完成了325次请求，共传输0.59MB的数据，平均响应时间0.15秒，平均每秒66.46次请求，拓扑量0.12MB每秒，并发数平均9.85。统计的数据还算比较全面。
三、原理介绍
先简单画一下程序的流程图，如下图所示
如果并发用户数为n，那么就会相应创建n个压测线程，每个线程模拟1个用户。除了压测线程之外，主函数会额外生成2个线程，我们暂且称之为计时线程和控制线程。计时线程用于等待一开始我们设定的压测时间，到时间后通过线程信号通知控制线程。随后控制线程通过改变与压测线程共享的压测停止标志位，并发送终止信号来实现压测线程的停止。每个压测线程都会从结构体CREW中读取压测任务，这些压测任务由主函数添加。每个线程的测试数据均会输出到client结构体数组中，最后由主函数统一收集结果，并打印在屏幕上。
这一过程当中涉及的线程操作有条件变量，用于等待CREW中有压测任务到来，另外在计时线程中也用到了条件变量进行计时操作；互斥锁，用于改变CREW结构体成员的值时加锁保护数据；线程信号，用于线程间的相互通知；信号屏蔽字，用于将到来的异步信号用同步的方法去处理。源码中一大堆以pthread开头的函数操作，如果不清楚细节的话可以翻阅一下《UNIX环境高级编程》这本编程圣经来查阅一下。接下来我们进行更详细一些的代码分析。
四、源码分析
4.1 CREW与client两个结构体
CREW是用来统一管理所有压测线程的结构体，它在主函数中被声明，因此可以被所有线程共享。对其中成员变量的改动也需要加锁后进行。CREW结构体如下：
struct CREW_T //用于管理所有压测线程的结构体 { int size; //目标并发数目，即压测线程个数 int maxsize; //最大并发数目，即压测线程个数 int cursize; //目前的可用并发数，压测中时这个数字随压测线程实时变化 int total; //实际启动的并发数 WORK *head; //压测任务链表头部 WORK *tail; //压测任务链表尾部 BOOLEAN block; //当已经达到最大并发时，则不准再添加新的压测线程 BOOLEAN closed; //压测线程是否已经关闭 BOOLEAN shutdown; //压测线程是否应该停止了 pthread_t *threads; //长度为size的数组，存储线程号 pthread_mutex_t lock; //修改本结构体都要先加锁 pthread_cond_t not_empty; //用于表示cursize不为0的条件 pthread_cond_t not_full; //用于表示cursize不等于maxsize的条件 pthread_cond_t empty; //用于表示cursize等于0的条件 };
每个压测线程都会维护属于自己的一份client，他们共同构成一个长度为n的数组。该结构体用于存储属于压测线程的相关信息，例如请求的响应时间，请求次数，数据流量等。这些统计信息最终将会反映给主进程做汇总输出。
typedef struct { int id; //client编号，对于n个线程编号分别从0至n-1 unsigned long hits; //共完成几次transaction，每完成一次请求加1 unsigned long bytes; //收到的数据总量 unsigned int code; //返回码是小于400的，或者等于401，等于407，则该计数加1 unsigned int fail; //失败计数，只要返回码大于等于400，且不是401也不是407，则该计数加1 unsigned int ok200; //返回码是200的数量，200为成功请求 ARRAY urls; //要访问的URL列表 struct { DCHLG *wchlg; DCRED *wcred; int www; DCHLG *pchlg; DCRED *pcred; int proxy; struct { int www; int proxy; } bids; struct { TYPE www; TYPE proxy; } type; } auth; //本结构体用于设置代理服务器信息以及鉴权信息 int status; //连接状态信息，包括未连接，正在连接，待读取等 float time; //统计请求花费的总时长 unsigned int rand_r_SEED; //随机数种子，用于随机访问URL的场景 float himark; //最慢一次请求花费的时间 float lomark; //最快一次请求花费的时间 } CLIENT;
写到这里，其实本程序代码为什么有13000行之多已经可以看到原因了。作者对于很多模块都进行了封装，比如C语言没有的BOOLEAN类型，数组操作ARRAY类型，压测任务链表操作WORK类型，已经与C++中的class有些类似。我们可以举个简单的例子，比如WORK类型是这么定义的：
typedef struct work { void (*routine)(); void *arg; struct work *next; } WORK;
这里面的routine是一个函数指针，而arg是要传给前面函数的参数。整个压测任务由一个单向链表来存储在CREW中。程序中这样的例子还有很多，就不再赘述。接下来我们关注一下计时线程、控制线程、压测线程的核心代码。
4.2 计时线程
计时线程在到达一定时间之后，会向控制线程发送SIGTERM信号，通知控制线程停止压测。该函数并不算复杂，下面是核心代码，我们略去了一些不必要的代码，只展示出了最重要的部分：
void siege_timer(pthread_t handler) //handler是控制线程的id { int err; time_t now; struct timespec timeout; pthread_mutex_t timer_mutex = PTHREAD_MUTEX_INITIALIZER; pthread_cond_t timer_cond = PTHREAD_COND_INITIALIZER; //专门用来计时的条件变量 if (time(&now) < 0) { NOTIFY(FATAL, "unable to set the siege timer!"); } timeout.tv_sec=now + my.secs; //设置超时时间，my.secs就是我们设置的压测时间，以秒为单位 timeout.tv_nsec=0; pthread_mutex_lock(&timer_mutex); for (;;) { err = pthread_cond_timedwait( &timer_cond, &timer_mutex, &timeout);//使用条件变量进行计时操作 if (err == ETIMEDOUT) { /* timed out */ pthread_kill(handler, SIGTERM); //向handler线程发送sigterm信号 break; } else { continue; } } pthread_mutex_unlock(&timer_mutex); return; }
这段代码还是比较容易理解的，条件变量在到时之前根本不会被激活，基本上是因为计时到了而返回，这也是pthread_cond_timedwait的作用。为了使用条件变量，外面又包了一层互斥锁timer_mutex，虽然根本不会有其他线程来抢这把锁。到时间后，通过pthread_kill来向其他线程发送信号。
4.3 控制线程
控制线程其实只做一件事情，即等待计时线程发送终止信号，收到信号后调用相关函数取消正在执行的压测线程。这次同样略去一些代码，只看最核心的控制线程部分。相关代码如下：
void sig_handler(CREW crew) { int gotsig = 0; sigset_t sigs; sigemptyset(&sigs); sigaddset(&sigs, SIGHUP); sigaddset(&sigs, SIGINT); sigaddset(&sigs, SIGTERM); sigprocmask(SIG_BLOCK, &sigs, NULL); //设置信号屏蔽字，在sigwait之前必须先屏蔽信号 /** * Now wait around for something to happen ... */ sigwait(&sigs, &gotsig);//阻塞等待线程信号，用于响应计时线程pthread_kill发来的信号 fprintf(stderr, "\nLifting the server siege..."); crew_cancel(crew); //取消CREW中的所有任务，即让压测线程停止下来 /** * The signal consistently arrives early, * so we artificially extend the life of * the siege to make up the discrepancy. */ pthread_usleep_np(501125); //人为使线程睡眠一小会，上面英文为原作者的注释 pthread_exit(NULL); }
4.4 压测线程
计时和控制线程还是比较容易理解的，代码结构也相对较为简单，接下来就瞧一下最为繁琐的压测线程。主函数将会通过for循环来创建n个压测线程，每个线程执行如下函数（同样略去了非关键代码）：
private void *crew_thread(void *crew)//压测线程，共有size个，取决于命令行-c后面的数字 { WORK *workptr; //压测函数结构体的指针，真正的压测逻辑都在这里的函数中实现 CREW this = (CREW)crew; //这里的结构体CREW正是前文4.1节中提到的CREW，用于管理所有压测线程 while(TRUE){//这里是死循环，压测一直在循环执行中，除非调用pthread_exit退出 pthread_mutex_lock(&(this->lock)); while((this->cursize == 0) && (!this->shutdown)){//如果目前可用并发数cursize是空的，则等待 pthread_cond_wait(&(this->not_empty), &(this->lock)); //一开始创建的size个压测线程都会卡在这里 } if(this->shutdown == TRUE){ //线程停止，则释放锁，退出，这里是唯一可以停止压测的地方 pthread_mutex_unlock(&(this->lock)); pthread_exit(NULL); } workptr = this->head; //取出第一个节点上的压测程序 this->cursize--; //可用并发数减一 if(this->cursize == 0){ //更新CREW中压测任务链表的值 this->head = this->tail = NULL; }else{ this->head = workptr->next; } if((this->block) && (this->cursize == (this->maxsize - 1))){ pthread_cond_broadcast(&(this->not_full)); } if(this->cursize == 0){ //现在并发量如果为0，唤醒empty condition pthread_cond_signal(&(this->empty)); } pthread_mutex_unlock(&(this->lock)); (*(workptr->routine))(workptr->arg);//这里才真正在执行压测函数 xfree(workptr); } return(NULL); }
细心观察一下即可发现，这里面都是各种加锁解锁的操作，在修改CREW前后需要拿到互斥锁才可以进行。一直到很靠后面一句(*(workptr->routine))(workptr->arg)才真正开始执行压测函数。并且从中还可以知道，只有把CREW的shutdown字段改为true才可以使压测线程停下来。那么接下来观察一下workptr->routine的内容。
void *start_routine(CLIENT *client)//主要的压测函数，每个线程通过此函数进行压测 { int ret; //function return value CONN *C = NULL; // connection data (sock.h) int type, state; C = xcalloc(sizeof(CONN), 1); C->sock = -1; pthread_cleanup_push((void*)clean_up, C); //设置线程清理函数，在线程退出时会被调用 pthread_setcanceltype (PTHREAD_CANCEL_ASYNCHRONOUS, &type);//修改取消类型为异步取消 pthread_setcancelstate(PTHREAD_CANCEL_ENABLE, &state);//设置线程取消状态为可以取消 for (……) { URL tmp = array_get(client->urls);//选择一个url if (tmp != NULL && url_get_hostname(tmp) != NULL) { if ((ret = __request(C, tmp, client))==FALSE) { //访问该url __increment_failures(); } } if (my.failures > 0 && my.failed >= my.failures) { break; } } /** * every cleanup must have a pop */ pthread_cleanup_pop(0); //该设置用于取消线程清理函数，pop与push经常成对使用 if (C->sock >= 0){ C->connection.reuse = 0; socket_close(C); } xfree(C); C = NULL; return(NULL); }
上面就是workptr->routine具体锁执行的函数。需要注意的是源代码中这个函数比较长，我们简略了一大部分，只列出来了少部分主要代码。实际上，start_routine依然没有列出来最细节的部分，比如每个压测线程中必须要执行的构建socket，连接服务器connect，写入请求write，收到请求read等过程。这些过程都在上面代码中出现的__request函数中。列出上文这些内容主要想讲述几个pthread开头的函数在压测中的作用。
pthread_cleanup_push与pthread_cleanup_pop用于设置线程清理函数，也就是当线程收到cancel信号退出前会调用的函数。有点类似于常见的try-catch-finally组合中finally的功能。push用于添加线程清理函数，pop用于删除线程清理函数。需要注意的是线程清理函数使用栈来存储，可以设置多个，push和pop类似栈的操作，后来的先出去。pop一次只会删除最晚的一个线程清理函数。
pthread_setcanceltype表示当函数收到取消（pthread_cancel）的信号，应该采取何种取消策略。PTHREAD_CANCEL_ASYNCHRONOUS表示异步取消，即任意时间收到取消信号，线程都可以终止；另外还有一种参数为PTHREAD_CANCEL_DEFERRED，表示推迟取消，即收到取消信号后一直到线程遇到某取消点才会取消。至于取消点的设置，POSIX中默认了很多系统调用出现时都会出现取消点。这些函数列表大家可以自行去网上搜一下，就不再罗列了。
pthread_setcancelstate用于设置线程取消状态，可以是PTHREAD_CANCEL_ENABLE或PTHREAD_CANCEL_DISABLE，分别表示可以取消或不可以被取消。如果设为不可以被取消，不管前面的setcanceltype怎么设置，碰到取消信号时线程都会将该信号挂起并无视它。
在__request函数中，由于需要区分ftp、http、https请求，需要判断是否长连接，还可能需要设置cookie，区别POST，GET等不同请求方式，这导致该函数又调用一大堆其他函数，层层深挖下去都列出来可能就是一部长篇小说的长度了。我们就不再深究，更深层的内容其实不难理解。我们在最后来瞧一眼主函数如何将以上这些内容串联起来。
4.5 main主函数
main函数是将所有压测流程串联起来的调度程序。在阅读源码的时候，从main函数入手应该是比较明智的选择，这样也比较容易看出来整个程序的组织。Siege中的main函数也有300余行代码，这些代码并没有太难理解的地方，我们使用注释+省略号+伪代码的方式大概浏览一下main函数如何将以上过程进行串联。如下：
int main(int argc, char *argv[]) { /*设置信号屏蔽字*/ sigemptyset(&sigs); sigaddset(&sigs, SIGHUP); sigaddset(&sigs, SIGINT); sigaddset(&sigs, SIGALRM); sigaddset(&sigs, SIGTERM); sigprocmask(SIG_BLOCK, &sigs, NULL); /*读取命令行参数、配置文件并解析*/ …… /*用for循环创建压测线程*/ crew = new_crew(my.cusers, my.cusers, FALSE); /*设置URL相关参数，将要压测的连接存入内存中*/ …… /*创建控制线程*/ pthread_create(&cease, NULL, (void*)sig_handler, (void*)crew); /*创建计时线程，注意第三个参数和创建控制线程的第一个参数都是cease*/ pthread_create(&timer, NULL, (void*)siege_timer, (void*)cease); for (x = 0; x < my.cusers && crew_get_shutdown(crew) != TRUE; x++) { /*向CREW中添加压测任务*/ /*也就是设置CREW中WORK链表的值*/ /*设置完毕后通过pthread_cond_broadcast解除被条件变量阻塞的压测线程*/ …… crew_add(crew, (void*)start_routine, &(client[x])); …… } /*等待所有压测线程结束*/ crew_join(crew, TRUE, &statusp); /*从client数组中读取压测数据，汇总到DATA结构体中*/ …… /*将汇总的DATA结构体内容输出*/ …… /*释放资源，退出*/ }
源码暂且看到这里，一共13000行代码，如果每一行都搞明白可能会累死。我们最重要的是了解到最核心的内容，清楚整个程序的设计原理即可。Siege除了帮助大家认识一种新的压测工具实现方法以外，其多线程的各种操作也是让人大开眼界的。
五、 Siege的优缺点
Siege是由多线程实现的同步压测工具，它实现的是模拟n个用户不停地访问某个URL的场景。由于多线程开销会比多进程小一些，因此该压测工具比多进程的压测工具在系统开销上会好很多。程序提供了到时停止（到一定时间停止压测）和到量停止（访问一定次数后停止压测）两种压测方法，支持同时压测多个URL，也能够随机选取URL进行压测。支持ftp、http、https，可以发送GET、POST、HEAD等多种请求，可以设置鉴权、cookies。并且程序中特意增加了许多解决不同平台上兼容性的代码。已经是非常完善的一个工具了，并且到目前位置，Siege的版本依然在更新中。
不过，Siege对于压力控制并不够精确，只能粗略地根据并发用户数去控制一下压力大小。考虑这样一种场景，我希望每秒钟向服务器发送1000个请求，并且第0至1ms发一个，第1至2ms发一个，第2至3ms发一个，……，这样精度的控制Siege是无法达到的。当然，对于同步压测程序来说，这样的精度比较难以实现。另外，Siege的时间控制并不精确，比如在本文中使用Siege的章节可以看到，我想要测试5s，但是实际输出的测试时间为4.89s。Siege的计时方式是通过times函数取得压测经历的的系统时钟数，并通过sysconf(_SC_CLK_TCK)取得系统每秒时钟数，两者相除得来。另外一个小的缺点是，由于使用多线程实现，一个进程可以开启的线程数量本身是有限的，并且线程过多的情况下CPU在线程间切换也是一笔不小的开销，十分影响效率。因此Siege的使用过程中还要注意开启的并发用户数不能太多。
最后的最后还要展示一下Siege的源代码文件，13000行代码是由以上这一大坨源文件构成，乍一看上去还小吃了一惊，一个小工具写了如此复杂的代码。其实从文件名可以看出来每个文件都有很强的封装思想，如果利用C++来写，一定会比目前的纯C清晰很多。不过作为一款linux系统上运行的工具，可能作者认为纯C语言一定是linux编程的首选吧。
