Memcached学习笔记

目录

前言

  • 此为学习笔记汇总，如有纰漏之处，还望不吝指出，谢谢。

启动流程

  • 调用settings_init()设定初始化参数
  • 从启动命令中读取参数来设置setting值
  • 设定LIMIT参数
  • 开始网络Socket监听，也支持UDP
  • 检查用户身份，不允许以root运行
  • 如果有socketpath存在，开启UNIX本地连接，是Sock管道
  • 如果以-d方式启动，调用daemon(), 创建守护进程
  • 初始化item，event，状态信息，hash，连接，slab
  • 如设置中managed生效，创建bucket数组
  • 检查是否需要锁定内存页
  • 初始化信号，连接，删除队列
  • 如果采用daemon方式，处理进程ID
  • event开始，启动过程结束，main函数进入循环

内存分配

分配模型

  • MemCache存放的value大小是限制的，因为一个新数据过来，slab会先以page为单位申请一块内存，申请的内存最多就只有1M，所以value大小自然不能大于1M了

  • chunk分配待会内存浪费，但也避免了管理内存碎片的问题

大小关系
  • MemCache将内存空间分为一组slab
  • 每个slab下又有若干个page，每个page默认是1M
  • 每个page里面包含一组chunk，chunk是真正存放数据的地方，同一个slab里面的chunk的大小是固定的
  • 有相同大小chunk的slab被组织在一起，称为slab_class
  • 邻slab内的chunk基本以1.25为比例进行增长，MemCache启动时可以用-f指定这个比例

回收机制

LRU
  • 精髓：Memcached会把刚刚访问过的item放到item列表头部，尾部的是没有/很少被访问的
  • 如果MemCache启动没有追加-M（禁止LRU，这种情况下内存不够会报Out Of Memory错误），可以使用
  • MemCache的LRU算法不是针对全局的，是针对slab的
步骤
  • 使用slabs_alloc函数申请内存失败，就开始淘汰数据
  • 从item list尾部开始遍历,在列表中查找一个refcount为0的item，释放
  • 如果找不到，查找一个3小时内没有访问过的item
  • 如果还没有，返回NULL，申请内存失败
懒惰删除
  • memcached不会释放已分配的内存，记录超时后，客户端就无法再看见该记录（invisible，透明）， 其存储空间即可重复使用
  • memcached内部不会监视记录是否过期，而是在get时查看记录的时间戳，检查记录是否过期。 这种技术被称为lazy（惰性）expiration
  • 因此，memcached不会在过期监视上耗费CPU时间

特性和限制

  • MemCache中可以保存的item数据量是没有限制的，只要内存足够
  • MemCache单进程在32位机中最大使用内存为2G，这个之前的文章提了多次了，64位机则没有限制
  • Key最大为250个字节，超过该长度无法存储
  • 单个item最大数据是1MB，超过1MB的数据不予存储
  • MemCache服务端是不安全的，比如已知某个MemCache节点，可以直接telnet过去，并通过flush_all让已经存在的键值对立即失效
  • 不能够遍历MemCache中所有的item，因为这个操作的速度相对缓慢且会阻塞其他的操作
  • MemCache的高性能源自于两阶段哈希结构：第一阶段在客户端，通过Hash算法根据Key值算出一个节点；第二阶段在服务端，通过一个内部的Hash算法，查找真正的item并返回给客户端。从实现的角度看，MemCache是一个非阻塞的、基于事件的服务器程序
  • MemCache设置添加某一个Key值的时候，传入expiry为0表示这个Key值永久有效，这个Key值也会在30天之后失效，写在了源码Memcached.c中，一般不修改

Memcache::add

  • bool Memcache :: add ( string $key , mixed $var [ , int $flag [ , int $expire ]] )
说明
  • 如果$key不存在的时候，使用这个函数来存储$var的值
  • 功能相同的函数是memcache_add()
参数
  • $key ：将要存储的键值
  • $var ：存储的值，字符型和整型会按原值保存，其他类型自动序列化以后保存
  • $flag：是否用 MEMCACHE_COMPRESSED 来压缩存储的值， true 表示压缩， false 表示不压缩
  • $expire：存储值的过期时间，如果为0表示不会过期，你可以用unix时间戳或者描述来表示从现在开始的时间，但是你在使用秒数表示的时候，不要超过2592000秒 (表示30天)
返回值
  • 如果成功则返回 TRUE，失败则返回 FALSE
  • 如果$key值已经存在，则会返回FALSE
  • 其他情况下Memcache::add()的用法类似于Memcache::set()

Memcache::addServer

  • bool Memcache::addServer ( string $host [, int $port [, bool $persistent [, int $weight [, int $timeout [, int $retry_interval [, bool $status [, callback $failure_callback ]]]]]]] )
说明
  • 添加一个可供使用的服务器地址到连接池中，连接用Memcache::addServer打开
  • 脚本执行完后自动关闭,或者可以用Memcache::close()手动关闭
  • 相同函数是memcache_add_server()
  • 当用这个方法的时候（相对于Memcache::connect()和 Memcache::pconnect()方法），网络连接只有等需要的时候才会建立，因此不会因为增加很多的服务器到连接池而增加系统负担，因为很多服务器可能没有使用
故障恢复
  • 故障恢复会发生在这个方法执行的任何阶段，只要其他的服务器是正常的，这些连接请求的失败用户不会注意到
  • 任何一种socket或者memcached服务器级的错误可以触发故障恢复
  • 正常的客户端错误比如增加一个存在的键值不会引发故障恢复
参数
  • $host服务器的地址
  • $port服务器端口
  • $persistent是否是一个持久连接
  • $weight这台服务器在所有服务器中所占的权重
  • $timeout连接的持续时间
  • $retry_interval连接重试的间隔时间，默认为15,设置为-1表示不进行重试
  • $status控制服务器的在线状态
  • $failure_callback允许设置一个回掉函数来处理错误信息

Memcache::close

  • bool Memcache :: close ( void )
说明
  • 关闭memcache服务器连接
  • 这个函数不会关闭长连接，长连接只有在web服务器关闭或者重启的时候才会关闭
  • 相同的函数memcache_close()

Memcache::connect

  • bool Memcache :: connect ( string $host [ , int $port [ , int $timeout ]] )
说明
  • 打开memcached服务器连接，建立一个到memcached服务器的连接，用Memcache::connect打开的连接会在脚本执行完毕后自动关闭
  • 你也可以用Memcache::close()去关闭连接
  • 相同的函数是memcache_connect()
参数
  • $host：指向memcached正在收听的链接的主机，这个参数会有另一种特殊的连接方式unix:///path/to/memcached.sock，即用unix的域名sockets，这种情况下，端口必须设置为0
  • $port：指向memcached正在收听的链接的端口，用unix的域名sockets的情况下，端口必须设置为0
  • $timeout：用于连接守护进程的秒数，当你改变默认的1秒的值的时候，你需要考虑一下，如果你的连接太慢的话，你可能会失去缓存的优势。

memcache::debug

  • bool memcache_debug ( bool $on_off )
说明
  • 控制调试功能，前提是php在编译的时候使用了-enable-debug选项，否则这个函数不会有作用
参数
  • $on_off：true表示开启调试，false表示关闭调试
返回值
  • 如果php在编译的时候使用了-enable-debug选项，返回true，否则返回false

Memcache::decrement

  • int Memcache :: decrement ( string $key [ , int $value ] )
说明
  • Memcache::decremen方法的作用是对保存的某个key中的值进行减法操作，用法跟Memcache::increment类似
  • 也可用memcache_decrement()函数
参数
  • $Key:想要减少的键的名字
  • $Value:想要减少的值
返回值
  • 如果成功，返回被减少后的值，如果失败返回false

Memcache::delete

  • bool Memcache :: delete ( string $key [ , int $timeout ] )
说明
  • 一个key值，如果参数$timeout被设置，那么存储的值会在设置的秒数以后过期，你也可以用函数memcache_delete()

Memcache::flush

  • bool Memcache :: flush ( void )
说明
  • 清除所有缓存的数据。Memcache::flush实际上没有释放资源，它仅仅将所有的缓存标记为过期，这样可以使新的缓存来覆盖被占的内存空间
  • 一样的函数是memcache_flush()

Memcache::get

  • string Memcache :: get ( string $key [ , int & $flags ] )
  • array Memcache :: get ( array $keys [ , array & $flags ] )
说明
  • 方法的作用是获取一个key值，key值可以是一个数组，结果会包含键值对
参数
  • $key是键值或者一个键的数组值
  • $flags如果这个参数存在，那么$flags跟写入这个参数的值相关，这些$flags 类似于Memcache::set()函数里的$flags
返回值
  • 如果成功，则返回key对应的值，如果失败则返回false

Memcache::getExtendedStats

  • array Memcache :: getExtendedStats ([ string $type [ , int $slabid [ , int $limit ]]] )
说明
  • 获取进程池中所有进程的运行系统统计
  • 相同函数是 memcache_get_extended_stats()
参数
  • $type表示要求返回的类型：reset, malloc, maps, cachedump, slabs, items, sizes
  • $slabid第一个参数设置为”cachedump”时使用的
  • $limit第一个参数设置为”cachedump”时使用的

Memcache::getServerStatus

  • int Memcache :: getServerStatus ( string $host [ , int $port ] )
说明
  • 获取运行服务器的参数,返回一个服务器在线或者离线的状态
  • 相同的函数是memcache_get_server_status()
参数
  • $host：正在收听的连接的主机
  • $port正在收听的连接的主机的端口，默认是11211
返回值
  • 成功返回服务器状态，服务器没有启动会返回0，其他数字的时候表示服务器是启动状态的

Memcache::getStats

  • array Memcache :: getStats ([ string $type [ , int $slabid [ , int $limit ]]] )
说明
  • 返回服务器的一些运行统计信息
  • 相同的函数是memcache_get_stats()
参数
  • $type表示要求返回的类型：reset, malloc, maps, cachedump, slabs, items, sizes
  • $slabid第一个参数设置为”cachedump”时使用的
  • $limit第一个参数设置为”cachedump”时使用的

Memcache::getVersion

  • string Memcache :: getVersion ( void )
说明
  • 返回运行的Memcache的版本信息
  • 相同函数memcache_get_version()

Memcache::increment

  • int Memcache :: increment ( string $key [ , int $value ] )
  • 对保存的某个key中的值进行加法操作
  • 用法参考Memcache::decrement

Memcache::pconnect

  • bool Memcache :: pconnect ( string $host [ , int $port [ , int $timeout ]] )
说明
  • 创建一个Memcache的持久连接对象
  • 这个连接在脚本执行完或者Memcache::close()函数运行也不会被关闭
  • 与它相同的函数是memcache_pconnect()
参数
  • $host：指向memcached正在收听的链接的主机，这个参数会有另一种特殊的连接方式unix:///path/to/memcached.sock，即用unix的域名sockets，这种情况下，端口必须设置为0
  • $port：指向memcached正在收听的链接的端口，用unix的域名sockets的情况下，端口必须设置为0
  • $timeout：用于连接守护进程的秒数，当你改变默认的1秒的值的时候，你需要考虑一下，如果你的连接太慢的话，你可能会失去缓存的优势

Memcache::replace

  • bool Memcache :: replace ( string $key , mixed $var [ , int $flag [ , int $expire ]] )
说明
  • 对一个已有的key进行覆写操作
  • 相同函数是memcache_replace()
参数
  • $key ：将要存储的键值
  • $var ：存储的值，字符型和整型会按原值保存，其他类型自动序列化以后保存
  • $flag：是否用 MEMCACHE_COMPRESSED 来压缩存储的值， true 表示压缩， false 表示不压缩
  • $expire：存储值的过期时间，如果为0表示不会过期，你可以用unix时间戳或者描述来表示从现在开始的时间，但是你在使用秒数表示的时候，不要超过2592000秒 (表示30天)

Memcache::set

  • bool Memcache :: set ( string $key , mixed $var [ , int $flag [ , int $expire ]] )
说明
  • 添加一个值，如果已经存在，则覆写
  • 相同函数是memcache_set()
参数
  • $key ：将要存储的键值
  • $var ：存储的值，字符型和整型会按原值保存，其他类型自动序列化以后保存
  • $flag：是否用 MEMCACHE_COMPRESSED 来压缩存储的值， true 表示压缩， false 表示不压缩
  • $expire：存储值的过期时间，如果为0表示不会过期，你可以用unix时间戳或者描述来表示从现在开始的时间，但是你在使用秒数表示的时候，不要超过2592000秒 (表示30天)

Memcache::setCompressThreshold

  • bool Memcache :: setCompressThreshold ( int $threshold [ , float $min_savings ] )
说明
  • 对大于某一大小的数据进行压缩
  • 相同的函数是memcache_set_compress_threshold()
参数
  • setCompressThreshold方法有两个参数，第一个参数表示处理数据大小的临界点，第二个参数表示压缩的比例，默认为0.2

Memcache::setServerParams

  • bool Memcache :: setServerParams ( string $host [ , int $port [ , int $timeout [ , int $retry_interval [ , bool $status [ , callback $failure_callback ]]]]] )
说明
  • 在运行时修改服务器的参数
  • 相同函数是memcache_set_server_params()
参数
  • $host服务器的地址
  • $port服务器端口
  • $timeout连接的持续时间
  • $retry_interval连接重试的间隔时间，默认为15,设置为-1表示不进行重试
  • $status控制服务器的在线状态
  • $failure_callback允许设置一个回掉函数来处理错误信息

参考资料

  • 图片来源于网络
  • Memcached官网
  • Memcached完全剖析
posted @ 2016-03-29 11:44  AnnsShadoW  阅读(288)  评论(0)  编辑  收藏  举报