代码改变世界

memcached源代码阅读笔记(一)

2011-12-02 14:28  横刀天笑  阅读(4124)  评论(0编辑  收藏  举报

缓存在系统设计中占有非常重要的地位。对于构建大型系统,缓存的使用非常重要。一般,缓存的目的都是为了将那些耗时又耗资源的东西,临时的保存在一个能够快速获取的地方,以此来减少资源的消耗,让我们可以更快的得到那些东西。简单的情况,比如我们可以把从数据库里取到的数据放到一个hashtable中,比如以sql为条件。在一定时间内,只要去数据库里取一次,然后就可以重复利用多次。这是个非常简单的缓存利用场景。

但是随着系统规模的增长,这种缓存机制就慢慢的不足以应付我们的需求。因为hashtable的这种方式,决定着这个hashtable肯定是与我们的应用放到同一个进程的。如果系统规模大了,我们可能要部署多个应用,进程内的hashtable不能为多个不同进程的应用提供支持了,我们就必须将这个hashtable独立出来,独立到应用外,让几个应用共享这个hashtable。这样,专门的缓存服务器就出现了。而memcache就是这其中极为优秀的一款。 

那么从表面来看,类似memcache这种缓存服务器的结构应该是这个样子:

user <--------command and data---------> Network layer <----------------->parse user command <------------hashtable

更通俗点讲就是讲一个hashtable放到了网上提供服务。

但是,因为这样我们访问缓存需要访问网络,所以就比访问本地的hashtable性能要差。而且一般来讲,在一个繁忙的系统种,缓存的访问是非常频繁的,如果缓存访问不频繁,那么大部分请求就会落到最终的资源上:比如数据库。这样就会给这些慢速的资源带来更大的压力。

所以这种缓存服务器的网络层一定要优秀,除了能提供很大的并发量外,还要能提供很好的响应能力。而作为后端的hashtable也要提供很好的访问速度。在内存分配上也要更有效率。

memcache

memcache是一个用C写的缓存服务器。它的网络层使用的是大名鼎鼎的libevent(一个基于事件驱动的网络库)。libevent在linux上可以利用epoll这柄利器,而在windows上能利用IOCP这把尖刀。除此之外,还能将网络的传输与业务逻辑处理分离开来。


好了,上面对缓存的基本知识做了点介绍,也简单的介绍了下memcache的结构,下面我们将先从一个用户的角度来简单看看如何使用memcache,会使用后再深入代码,也能相互做个对应。 

跟所有的开源代码一样,checkout出来,三步就可以使用了:

./configure

make

make install

然后进入memcache的目录,启动memcached:

./memcached -p 9000

memcached提供了tcp和udp两种方式,不过大部分时候我们都是采用tcp的方式。memcache的协议也有两种方式:文本和二进制。

注:现在memcache的协议基本上成了很多网络服务的标准协议了。即使一些跟memcache半点关系都没有的服务也提供memcache协议访问的方式,这样可以让memcache客户端来连接。 

下面我们就用telnet连上memcache服务器,简单的操作几个命令:

>telnet 127.0.0.1 9000

stats

STAT pid 3694
STAT uptime 119
STAT time 1323700770
STAT version 1.4.10
STAT libevent 2.0.16-stable
STAT pointer_size 64
STAT rusage_user 0.003002
STAT rusage_system 0.005005
STAT curr_connections 10
STAT total_connections 11
STAT connection_structures 11
STAT reserved_fds 20
STAT cmd_get 0
STAT cmd_set 0
STAT cmd_flush 0
STAT cmd_touch 0
STAT get_hits 0
STAT get_misses 0
STAT delete_misses 0
STAT delete_hits 0
STAT incr_misses 0
STAT incr_hits 0
STAT decr_misses 0
STAT decr_hits 0
STAT cas_misses 0
STAT cas_hits 0
STAT cas_badval 0
STAT touch_hits 0
STAT touch_misses 0
STAT auth_cmds 0
STAT auth_errors 0
STAT bytes_read 7
STAT bytes_written 0
STAT limit_maxbytes 67108864
STAT accepting_conns 1
STAT listen_disabled_num 0
STAT threads 4
STAT conn_yields 0
STAT hash_power_level 16
STAT hash_bytes 524288
STAT hash_is_expanding 0
STAT expired_unfetched 0
STAT evicted_unfetched 0
STAT bytes 0
STAT curr_items 0
STAT total_items 0
STAT evictions 0
STAT reclaimed 0
END
打印出memcache的一些监控数据

 

stats settings

STAT maxbytes 67108864
STAT maxconns 1024
STAT tcpport 9000
STAT udpport 9000
STAT inter NULL
STAT verbosity 0
STAT oldest 0
STAT evictions on
STAT domain_socket NULL
STAT umask 700
STAT growth_factor 1.25
STAT chunk_size 48
STAT num_threads 4
STAT num_threads_per_udp 4
STAT stat_key_prefix :
STAT detail_enabled no
STAT reqs_per_event 20
STAT cas_enabled yes
STAT tcp_backlog 1024
STAT binding_protocol auto-negotiate
STAT auth_enabled_sasl no
STAT item_size_max 1048576
STAT maxconns_fast no
STAT hashpower_init 0
END
打印出memcache的设置信息

set user1 32 0 10

{'uname':'yuyijq','pwd':'12345'}

STORED

上面的命令将一个User对象的JSON放到memcache中。

get user1

{'uname':'yuyijq','pwd':'12345'}

END

根据刚才存储的key,取回那个用户对象的json串。

因为这个协议非常简单命令,所以也很容易开发一个client,在程序里我们就可以利用上memcache这个利器了。 


好了,下一篇我们将根据这一篇输入的几个命令,来对应的追随代码的脚印。