04 2012 档案
摘要：引言：前面的一系列文章都在说了事件模型，也就是简单的做一个介绍，然后贴出了一些代码作为Demo，上次说到了在反应堆中的超时管理。今天就来说说关于利用最小堆来管理超时的问题。NOTICE:判断一个事件是否超时的方法是， 事件超时时间 减 当前时间 ，如果大于零，说明没有超时，如果小于零，说明该事件超时了。一般做法是怎样来管理所有的超时事件呢？以前的用法都是利用链表来保存所有的超时事件，轮训查看是否事件超时，若超时就采取相应的措施，比如移除事件等。后来的Nginx和libevent采取了更好的措施，Nginx是利用红黑树来管理，而libevent是利用最小堆来管理。今天的主题是最小堆，所以下面的内
阅读全文
摘要：引言：持续更新了一段时间的博客，今天把最后一点部分加上，一个简单的反应堆的实现，基于epoll，工作过程上一篇博文已经有所介绍。需要再次提到的就是关于反应堆的使用方式：注册事件（为需要监听的fd加入回调函数）----->将事件加入反应堆------>开始事件循环------>事件发生，调用回调函数第一次加入的描述符可以为监听描述符，即由 socket() 函数创建，当这个描述符有事件发生，意味着有新的连接的到来，调用回调函数handler_accept() 其中这个函数里面涉及到调用 accept()系统调用和为这个新连接分配实例，然后设置这个连接的回调函数，即 handle
阅读全文
摘要：引言：前面一章简单介绍了关于epoll 的使用方式，这一章介绍一下一个简单的反应堆模型，没有实现超时机制的管理。最主要的是要介绍一下关于异步事件反应堆的设计方式。反应堆的模型图在上一张可以看到，但是那个是盗来的一张图,twisted 的反应堆。今天给不熟悉这个部分的朋友介绍一下基于 epoll 的反应堆，过程类似于libevent.反应堆可以提供几个操作：（0）创建一个反应堆：mc_event_base_t * mc_base_new(void) ;返回一个操作句柄. （1）为某一个需要监听的文件描述符加入回调函数，并注册事件类型。int mc_event_set( mc_event_t *.
阅读全文
摘要：引言：上一篇说到了线程池方式来处理服务器端的并发，并给出了一个线程池的方案（半同步，半异步方式）。各有各的好处吧，今天来讲讲关于非阻塞的异步IO。说到异步IO，其实现在很难实现真正的异步，大部分情况下仍然需要阻塞在某个多路复用函数，比如select 或者 epoll 上，得到就绪描述符，然后调用注册在相应描述符上的回调函数。这种方式是现在的反应堆设计的基本思路。我截取一段反应堆模型的图给大家看看。这个图是截取至 python的 twisted 服务器的反应堆文章介绍，但是大致和我们需要的理念一样。事件循环阻塞查看描述符是否就绪，当就绪后返回可读或可写的描述符，也有可能带外数据或者出错等情况。因
阅读全文
摘要：引言：上篇文章说到了多进程并发式的服务端模型，如上一篇文章所述，进程的频繁创建会导致服务器不堪负载，那这一篇博客主要讲述的是线程模型和线程池的方式来提高服务端的负载能力。同时比较一下不同的模型的好处与坏处。(如果不加以说明，我们都是考虑开发是基于GNU/Linux的)在Linux下创建一个线程的方式很简单，pthread_create() 函数来创建线程，其中的一个参数的回调函数，也就是线程本身的执行体函数。void *thread_entry( void * args );这里不过多的强调怎样利用线程等来创建执行体以及其他的系统调用怎样使用的。那么，在服务端的线程使用方式一般为三种种：（1）
阅读全文
摘要：引言：上篇文章讲到同步阻塞迭代式的进程方式，这篇文章讲述一下关于处理单进程阻塞于系统调用的情况。使用方式是多进程的方式，可以减少很大一部分的因为进程阻塞所带来的服务器无法响应问题。基本思想是这样，如上篇文章所述，在单进程阻塞在read() 系统调用的时候，会导致服务器无法响应其他的连接请求，那么我们可以通过在服务器fork() 出很多子进程来处理业务，而主进程负责 accept() 其他的客户连接。主体框架是这样：for(;;){ fd = accept(...); ret = fork() ; switch( ret ) { case -1 : do_err_handler()...
阅读全文
摘要：引言：似乎现在阻碍服务端大部分情况下都属于IO瓶颈，硬盘的转速等，而计算的瓶颈大部分云端计算采用分布式计算，如基于GFS的MapReduce模型，网格计算或者其他的一些分布式处理。所以，现在服务端的服务衡量指标基本集中在并发量，QPS，响应速度，稳定性等。其中一部分也不乏大量的计算，属于CPU密集型的，根据业务的不同应该做相应的调整。今天的话题是浅谈一下几种常用的IO模型。理解IO 模型是网络编程的重点。最简单的同步迭代IO模型：核心代码就是这样，这里我们假设前面的监听套接口已建立。即已绑定套接口，并调用了listen()函数。同步迭代IO大致如下，我们假设现在的模型是这样的，服务端监听客户端
阅读全文
摘要：引言：昨天写了一个简单的通过字典树来索引比较大的字母集合的程序。通过字典树，确实能够大大减少查询时间，是一种不错的字母表的匹配方案。这里我就拿出来分享一下。(ps:英文单词集大概有35W+ 条记录，数据量确实不小，在操作中为了简化，去除了英文单词中的 " ' " "-" 等等，作为字典树，必须以26 个英文字母作为树的子节点的索引。)看看字典树的结构定义：typedef struct _dict_tree_{ struct _dict_tree_ * dt[TREENODENUM]; char c ; char flag ;}DT ;dt 指针指
阅读全文
摘要：关于断言，可以作为一种很强大的调试方式或者程序运行时的错误诊断但是断言也不是适合于各种地方，服务器软件和嵌入式程序一般不适用，断言会强制中断正在运行的程序，对于服务器等程序来说，将会是一个灾难。加上，断言会加剧CPU 的负载，其中会调用一些函数。作为调试时使用断言是个不错的选择一般断言：#ifndef NDEBUG assert( conditon ) ;#endif这样，你的断言会在没有定义NDEBUG 的时候检测是否assert(..)中的表达式为真，如果不为真，将终止程序但是，作为一种调试方式，assert()一般不用于判断用户的输入，而是断言程序在某个时刻的状态一定为真，当然，终止程序
阅读全文
摘要：将依赖于用户输入的数据都看做不安全数据：1.空指针2.字符串的长度3.在限定有输入时的长度 的符号类型4.输入时候的符号5.严格判断输入的类型与所处理的数据的类型是否符合6.禁止格式化输出一般程序员在编写一个函数的时候，只会注意到函数的实现功能，往往忘记了在函数编写过程当中的一些安全因素其实这些东西才是一般大型的公司考察一个程序员是否成熟的标志，当然，只是一方面1:空指针一般在接受一个参数的时候，如果该参数是一个指针或者字符串，当然这里的字符串是传统的C 的char *string 类型你是否会考虑到可能传入的是一个空指针，如果函数中应用了一个空指针作为数据，将会导致程序因非法内存访问而终止所
阅读全文
摘要：引言：总所周知，NoSQL，Memcached等作为Key—Value 存储的模型的数据路由都采用Hash表来达到目的。如何解决Hash冲突和Hash表大小的设计是一个很头疼的问题。借助于Radix树，我们同样可以达到对于uint32_t 的数据类型的路由。这个灵感就来自于Linux内核的IP路由表的设计。作为传统的Hash表，我们把接口简化一下，可以抽象为这么几个接口。void Hash_create( size_t Max );int Hash_insert( uint32_t hash_value , value_type value ) ;value_type *Hash_get( u
阅读全文
摘要：引言：应用级别的内存分配器的作用主要在于减少malloc函数的调用，降低系统的内存碎片。作为高性能的服务器，一般都会有自己的内存分配方案。slab作为一款Linux内核的经典内存分配方式，应用在很多的应用级别的软件上，比如说Memcached 等。 今天的主题就分享一下最近写的slab的一个简单的Demo，在于分享，代码有些粗糙，比如缺少对于内存字节的比例因子，缺少关于内存不足的情况下重分配等。不过各种应用各有各自的用途，在实现某些cached操作的软件中，由于带有LRU 算法等，在内存快使用完后就采取淘汰策略，所以不一定在内存不足的情况下重新给操作系统分配。Slab内存分配器原理： ...
阅读全文