缓存穿透,缓存击穿,缓存雪崩解决方案

缓存穿透
  访问一个不存在的key,缓存不起作用,请求会穿透到DB,流量大时DB会挂掉。缓存穿透是指缓存和数据库中都没有的数据,而用户不断发起请求,如发起为id为“-1”的数据或id为特别大不存在的数据。这也是经常提的缓存命中率问题。
  解决方案
  采用布隆过滤器,使用一个足够大的bitmap,用于存储可能访问的key,不存在的key直接被过滤;
  访问key未在DB查询到值,也将空值写进缓存,但可以设置较短过期时间。缓存有效时间可以设置短点,如30秒(设置太长会导致正常情况也没法使用)。这样可以防止攻击用户反复用同一个id暴力攻击
接口层增加校验,如用户鉴权校验,id做基础校验,id<=0的直接拦截;
缓存雪崩
  大量的key设置相同的过期时间,导致在缓存在同一时刻全部失效,造成瞬时DB请求量大、压力骤增,引起雪崩。和缓存击穿不同的是:缓存击穿指并发查同一条数据,缓存雪崩是不同数据都过期,很多数据都查不到从而查数据库。
  解决方案
  可以给缓存设置过期时间时加上一个随机值时间,使得每个key的过期时间分布开来,不会集中在同一时刻失效。如果缓存数据库是分布式部署,将热点数据均匀分布在不同缓存数据库中。设置热点数据永远不过期。
缓存击穿
  一个存在的key,在缓存过期的一刻,同时有大量的请求,这些请求都会击穿到DB,造成瞬时DB请求量大、压力骤增。(缓存击穿是指缓存中没有但数据库中有的数据(一般是缓存时间到期))

       解决方案

     设置热点数据永远不过期。设置热点数据永远不过期。

  在访问key之前,采用SETNX(set if not exists)来设置另一个短期key来锁住当前key的访问,访问结束再删除该短期key。

  当获取的value值为空时(这里的空表示缓存过期),先加锁,然后从数据库加载并放入缓存,最后释放锁。如果其他线程获取锁失败,则睡眠一段时间后重试。下面使用Redis的setnx来实现分布式锁,如下所示:

public String get(key) {
      String value = redis.get(key);
      if (value == null) { //代表缓存值过期
          //设置3min的超时,防止del操作失败的时候,下次缓存过期一直不能load db
          if (redis.setnx(key_mutex, 1, 3 * 60) == 1) {  //代表设置成功
               value = db.get(key);
                      redis.set(key, value, expire_secs);
                      redis.del(key_mutex);
              } else {  //这个时候代表同时候的其他线程已经load db并回设到缓存了,这时候重试获取缓存值即可
                      sleep(50);
                      get(key);  //重试
              }
          } else {
              return value;      
          }
 }

  缓存预热

  缓存预热就是系统上线后,提前将相关的缓存数据直接加载到缓存系统。避免在用户请求的时候,先查询数据库,然后再将数据缓存的问题!用户直接查询事先被预热的缓存数据!
  缓存预热解决方案:
  (1)直接写个缓存刷新页面,上线时手工操作下;
  (2)数据量不大,可以在项目启动的时候自动进行加载;
  (3)定时刷新缓存;
  缓存降级
  当访问量剧增、服务出现问题(如响应时间慢或不响应)或非核心服务影响到核心流程的性能时,仍然需要保证服务还是可用的,即使是有损服务。系统可以根据一些关键数据进行自动降级,也可以配置开关实现人工降级。
  降级的最终目的是保证核心服务可用,即使是有损的。而且有些服务是无法降级的(如加入购物车、结算)。
  在进行降级之前要对系统进行梳理,看看系统是不是可以丢卒保帅;从而梳理出哪些必须誓死保护,哪些可降级;比如可以参考日志级别设置预案:
  一般:比如有些服务偶尔因为网络抖动或者服务正在上线而超时,可以自动降级;
  警告:有些服务在一段时间内成功率有波动(如在95~100%之间),可以自动降级或人工降级,并发送告警;
  错误:比如可用率低于90%,或者数据库连接池被打爆了,或者访问量突然猛增到系统能承受的最大阀值,此时可以根据情况自动降级或者人工降级;
  严重错误:比如因为特殊原因数据错误了,此时需要紧急人工降级。

  

 

  

posted on 2020-07-12 11:43  溪水静幽  阅读(152)  评论(0)    收藏  举报