Memcahced常见问题(转载)
以下内容摘抄自互联网整理:
1、在大并发的场合,当cache失效时,大量并发同时取不到cache,会同一瞬间去访问db并回设cache,可能会给系统带来潜在的超负荷风险。
解决方法
在load db之前先add一个mutex key, mutex key add成功之后再去做加载db, 如果add失败则sleep之后重试读取原cache数据。为了防止死锁,mutex key也需要设置过期时间。伪代码如下
(注:下文伪代码仅供了解思路,可能存在bug,欢迎随时指出。)
if (memcache.get(key) == null) {
// 3 min timeout to avoid mutex holder crash
if (memcache.add(key_mutex, 3 * 60 * 1000) == true) {
value = db.get(key);
memcache.set(key, value);
memcache.delete(key_mutex);
} else {
sleep(50);
retry();
}
}
2、有一个key/value存储在数据库中,但是缓存在memcache中,对这个key/value有高并发的查询和更新操作,怎么保证数据库和缓存的一致性呢?
方案1 – 更新数据库时失效缓存
when updateDb(key) invalideCache(key) when query(key) updateCache(key)
问题: 查询时有不一致的情况,如下,
Step1: Thread1 getDb(key) = A Step2: Thread3 updateDb(key) = B Step3: Thread2 getDb(key) = B Step4: Thread2 updateCache(key) = B Step5: Thread1 updateCache(key) = A
当前最新数据应该是Thread3更新的B, 但是缓存里面是A,出现了不一致的现象,即使在更新缓存的时候使用CAS,还是会出现后者覆盖前者,还是有不一致的现象。
方案2 – 更新数据库时更新缓存
Step1: cas get cache Step2: update db Setp3: cas set cache
问题: 更新数据库的时候直接提交,那么缓存里数据是B,数据库里面是A,如下,
Thread1 cas get cache with uniqueNum = 1 Thread2 cas get cache with uniqueNum = 1 Thread2 update DB with new value B Thread2 cas set cache B with uniqueNum = 1 Thread1 update DB with new value A Thread1 cas set cache A with uniqueNum = 1, fail
方案3 – 利用数据库的事物/乐观锁和缓存的CAS
数据库在更新缓存成功后进行提交,如果CAS更新缓存失败,那么滚回数据库的提交。
Thread1 cas get cache with uniqueNum = 1 Thread1 update DB with new value A Thread1 cas set cache A with uniqueNum = 1 Thread1 commit update DB
Thread2 cas get cache with uniqueNum = 1 Thread2 update DB with new value B Thread2 cas set cache B with uniqueNum = 1 Thread2 commit update DB
暂时没有想出来方案3有任何问题,欢迎大家拍砖。
总结:
1. Memcache的add, incr/decr, gets/cas都是原子的,如果遇到线程并发问题首先考虑使用gets/cas。
2. Memcache client for java不支持CAS,可以使用add来解决,SpyMemcache和XMemcache支持CAS。
3. Memcache遇到的主要并发问题是Fetch-Modify-Set产生的。
4. 存数据库也会遇到同样的情况,但是数据库锁起来会更方便 。
浙公网安备 33010602011771号