Memcahced常见问题(转载)

以下内容摘抄自互联网整理:

1、在大并发的场合,当cache失效时,大量并发同时取不到cache,会同一瞬间去访问db并回设cache,可能会给系统带来潜在的超负荷风险。

解决方法

在load db之前先add一个mutex key, mutex key add成功之后再去做加载db, 如果add失败则sleep之后重试读取原cache数据。为了防止死锁,mutex key也需要设置过期时间。伪代码如下
(注:下文伪代码仅供了解思路,可能存在bug,欢迎随时指出。)

if (memcache.get(key) == null) {
    // 3 min timeout to avoid mutex holder crash
    if (memcache.add(key_mutex, 3 * 60 * 1000) == true) {
        value = db.get(key);
        memcache.set(key, value);
        memcache.delete(key_mutex);
    } else {
        sleep(50);
        retry();
    }
}

2、有一个key/value存储在数据库中,但是缓存在memcache中,对这个key/value有高并发的查询和更新操作,怎么保证数据库和缓存的一致性呢?

方案1 – 更新数据库时失效缓存

 when updateDb(key) invalideCache(key)
 when query(key) updateCache(key)

问题: 查询时有不一致的情况,如下,

 Step1: Thread1 getDb(key) = A
 Step2: Thread3 updateDb(key) = B
 Step3: Thread2 getDb(key) = B
 Step4: Thread2 updateCache(key) = B
 Step5: Thread1 updateCache(key) = A

当前最新数据应该是Thread3更新的B, 但是缓存里面是A,出现了不一致的现象,即使在更新缓存的时候使用CAS,还是会出现后者覆盖前者,还是有不一致的现象。

方案2 – 更新数据库时更新缓存

 Step1: cas get cache
 Step2: update db
 Setp3: cas set cache

问题: 更新数据库的时候直接提交,那么缓存里数据是B,数据库里面是A,如下,

 Thread1 cas get cache with uniqueNum = 1
 Thread2 cas get cache with uniqueNum = 1
 Thread2 update DB with new value B
 Thread2 cas set cache B with uniqueNum = 1
 Thread1 update DB with new value A
 Thread1 cas set cache A with uniqueNum = 1, fail

方案3 – 利用数据库的事物/乐观锁和缓存的CAS

数据库在更新缓存成功后进行提交,如果CAS更新缓存失败,那么滚回数据库的提交。

 Thread1 cas get cache with uniqueNum = 1
 Thread1 update DB with new value A
 Thread1 cas set cache A with uniqueNum = 1
 Thread1 commit update DB
 Thread2 cas get cache with uniqueNum = 1
 Thread2 update DB with new value B
 Thread2 cas set cache B with uniqueNum = 1
 Thread2 commit update DB

暂时没有想出来方案3有任何问题,欢迎大家拍砖。

 
总结:

1. Memcache的add, incr/decr, gets/cas都是原子的,如果遇到线程并发问题首先考虑使用gets/cas。

2. Memcache client for java不支持CAS,可以使用add来解决,SpyMemcache和XMemcache支持CAS。

3. Memcache遇到的主要并发问题是Fetch-Modify-Set产生的。

4. 存数据库也会遇到同样的情况,但是数据库锁起来会更方便 。

posted on 2015-04-15 15:50  hi_rain  阅读(301)  评论(0)    收藏  举报