在python中使用memcached --- Python-memcached

1.memcached安装

使用apt-get安装memcached

# sudo apt-get install memcached

启动一个memcached实例

# memcached -m 10 -p 12000


-m 10 是指定最多使用的内存大小单位是M,如果不指定默认会使用64M

-p 12000 是指定端口号,默认端口为11211

另一个例子 说明一下参数

memcached -d -m 10    -u root -l 192.168.40.4 -p 12000 -c 256 -P /tmp/memcached.pid

 参数说明:

-d选项是启动一个守护进程

-m是分配给Memcache使用的内存数量,单位是MB,我这里是10MB

-u是运行Memcache的用户,我这里是root

-l是监听的服务器IP地址

-p是设置Memcache监听的端口,最好是1024以上的端口

-c选项是最大运行的并发连接数,默认是1024,按照你服务器的负载量来设定

-P是设置保存Memcache的pid文件

 

memcached配置文件存放在

/etc/memcached.conf

日志文件存放在

/var/log/memcached.log


Memcached 操作:
telnet localhost 11334
set foo 0 0 3
bar 
STORED
get foo
VALUE foo 0 3
bar
quit

Memcache命令:
存储命令: set/add/replace/append/prepend/cas 
获取命令: get/gets
其他命令:delete/stats等

Shell操作memcache:

1、数据存储(假设key为foo,value为123)
   printf "set foo 0 0 3\r\n123\r\n" | nc 127.0.0.1 11334 
   STORED
2、数据取回(假设key为foo)
   printf "get foo\r\n" | nc 127.0.0.1 11334 
   VALUE foo 0 3
   123
   END
3、数值增加1(假设key为foo,并且value为正整数)
   printf "incr foo 1\r\n" | nc 127.0.0.1 11334 
   124
4、数值减少3(假设key为foo,并且value为正整数)
   printf "decr foo 3\r\n" | nc 127.0.0.1 11334

   121
5、数据删除(假设key为foo)
   printf "delete foo\r\n" | nc 127.0.0.1 11334 
   DELETED
6、查看Memcached状态

      printf "stats\r\n" | nc 127.0.0.1 11334 

   STAT pid 22563

   STAT uptime 90706

7、模拟top命令,查看Memcached状态:
   watch "printf 'stats\r\n' | nc 127.0.0.1 11334" 
   watch "echo stats | nc 127.0.0.1 11334"



2.Python-memcached安装

ftp://ftp.tummy.com/pub/python-memcached/下载最新版本的API,并解压tar包

# tar xzvf python-memcached-1.47

# cd python-memcached-1.47

# sudo python setup.py

 

3.在Python中使用memcached

首先启动一个memcached实例

# memcached -m 10 -p 12000

在python中调用

import memcache

mc = memcache.Client(['127.0.0.1:12000'], debug=0)

mc.set('foo','bar')   # return True

mc.get('foo')          # return 'bar'

mc.set('dt',{'a':1,'b':2})  # put a dict in it

mc.get('dt')           # return {'a':1,'b':2}

set遵循(key ,value)的方式存储数据,如果系统中memcached进程挂掉,存入的数据会丢失。


4.Python-memcached API总结

整个memcache.py只有1241行,相当精简

主要方法如下:

@set(key,val,time=0,min_compress_len=0)

无条件键值对的设置,其中的time用于设置超时,单位是秒,而min_compress_len则用于设置zlib压缩(注:zlib是提供数据压缩用的函式库)

@set_multi(mapping,time=0,key_prefix='',min_compress_len=0)

设置多个键值对,key_prefix是key的前缀,完整的键名是key_prefix+key, 使用方法如下

  >>> mc.set_multi({'k1' : 1, 'k2' : 2}, key_prefix='pfx_') == []

  >>> mc.get_multi(['k1', 'k2', 'nonexist'], key_prefix='pfx_') == {'k1' : 1, 'k2' : 2}

@add(key,val,time=0,min_compress_len=0)

添加一个键值对,内部调用_set()方法

@replace(key,val,time=0,min_compress_len=0)

替换value,内部调用_set()方法

@get(key)

根据key去获取value,出错返回None

@get_multi(keys,key_prefix='')

获取多个key的值,返回的是字典。keys为key的列表

@delete(key,time=0)

删除某个key。time的单位为秒,用于确保在特定时间内的set和update操作会失败。如果返回非0则代表成功

@incr(key,delta=1)

自增变量加上delta,默认加1,使用如下

>>> mc.set("counter", "20")  

>>> mc.incr("counter")

21

@decr(key,delta=1)

自减变量减去delta,默认减1

 

5._set方法

很多方法内部都调用了_set方法,其源码如下:

   def _set(self, cmd, key, val, time, min_compress_len = 0):
          self.check_key(key)
          server, key = self._get_server(key)
          if not server:
              return 0
  
          self._statlog(cmd)
  
          store_info = self._val_to_store_info(val, min_compress_len)
          if not store_info: return(0)
  
          if cmd == 'cas':
              if key not in self.cas_ids:
                  return self._set('set', key, val, time, min_compress_len)
              fullcmd = "%s %s %d %d %d %d\r\n%s" % (
                      cmd, key, store_info[0], time, store_info[1],
                      self.cas_ids[key], store_info[2])
          else:
              fullcmd = "%s %s %d %d %d\r\n%s" % (
                      cmd, key, store_info[0], time, store_info[1], store_info[2])
  
          try:
              server.send_cmd(fullcmd)
              return(server.expect("STORED") == "STORED")
          except socket.error, msg:
              if isinstance(msg, tuple): msg = msg[1]
              server.mark_dead(msg)
          return 0

注: memcached 的客户端使用TCP链接与服务器通讯, 一个运行中的memcached服务器监视一些端口, 客户端连接这些端口,发送命令到服务器,读取回应,最后关闭连接。(具体命令请参考《Memcached 协议中文版》)

 

6.python-memcached线程安全

本部分转自http://weavesky.com/2009/01/22/is-python-memcached-threadsafe/

python-memcached是不是线程安全的

答案是肯定的,前提你在使用Python 2.4+和python-memcached 1.36+
为什么我们需要线程安全的memcached client,因为我们的实际应用一般是多线程的模型,例如cherrypy、twisted,如果python-memcached不是线程安全的话,引起的问题不仅仅是并发修改共享变量这么简单,是外部socket链接的数据流的混乱
python-memcached怎么实现线程安全的呢?查看源代码看到

 

try:
    # Only exists in Python 2.4+
    from threading import local
except ImportError:
    # TODO:  add the pure-python local implementation
    class local(object):
        pass
 
class Client(local):

 

很取巧的让Client类继承threading.local,也就是Client里面的每一个属性都是跟当前线程绑定的。实现虽然不太优雅,但是很实在但是别以为这样就可以随便在线程里面用python-memcached了,因为这种thread local的做法,你的应用必须要使用thread pool的模式,而不能不停创建销毁thread,因为每一个新线程的创建,对于就会使用一个全新的Client,也就是一个全新的socket链接,如果不停打开创建销毁thread的话,就会导致不停的创建销毁socket链接,导致性能大量下降。幸好,无论是cherrypy还是twisted,都是使用了thread pool的模式



posted @ 2011-11-18 12:45 LemonLi 阅读(...) 评论(...) 编辑 收藏