一线大厂Redis高并发缓存架构实战与性能优化--重点笔记

目录

1、中小公司Redis缓存架构以及线上问题分析

2、大厂线上大规模商品缓存数据冷热分离实战

3、实战解决大规模缓存击穿导致线上数据库压力暴增

4、黑客攻击导致缓存穿透线上数据库宕机Bug

5、一行代码解决线上缓存穿透问题

6、一次大V直播带货导致线上商品系统崩溃原因分析

7、突发性热点缓存重建导致系统压力暴增问题分析

8、基于DCL机制解决热点缓存并发重建问题实战

9、Redis分布式锁解决缓存与数据库双写不一致问题实战

10、大促压力暴增导致分布式锁串行争用问题优化实战

11、一次微博明星热点事件导致系统崩溃原因分析

12、利用多级缓存架构解决Redis线上集群缓存雪崩问题

 

1、中小公司Redis缓存架构以及线上问题分析

问题：若数据量大，则浪费内存。

方案：设置超时时间

 

2、大厂线上大规模商品缓存数据冷热分离实战

问题：访问量小的，不必要一直放在内存。

方案：访问量大的，重新延期(简单的冷热分离）

 

 

3、实战解决大规模缓存击穿导致线上数据库压力暴增

由于大批量缓存在同一时间失效可能导致大量请求同时穿透缓存直达数据库，可能会造成数据库瞬间压力过大
甚至挂掉，对于这种情况我们在批量增加缓存时最好将这一批数据的缓存过期时间设置为一个时间段内的不同
时间

 

 

4、黑客攻击导致缓存穿透线上数据库宕机Bug

缓存穿透
缓存穿透是指查询一个根本不存在的数据， 缓存层和存储层都不会命中， 通常出于容错的考虑， 如果从存储
层查不到数据则不写入缓存层。
缓存穿透将导致不存在的数据每次请求都要到存储层去查询， 失去了缓存保护后端存储的意义。
造成缓存穿透的基本原因有两个：
第一， 自身业务代码或者数据出现问题。
第二， 一些恶意攻击、 爬虫等造成大量空命中。

问题1:2000102XXX请求一个不存在的商品问题。

问题2:请求多个不存在的商品问题。

 

5、一行代码解决线上缓存穿透问题

 问题1解决方案：

1，设置空对象

2，并判断是否为空，若为空则返回空值。

 

 问题2解决方案：

1，设置空对象,并设置随机过期时间。

2，并判断是否为空，若为空则从新设置过期时间，以防空值过期，继续形成穿透效果，并返回空值。

3，布隆过滤器

对于恶意攻击，向服务器请求大量不存在的数据造成的缓存穿透，还可以用布隆过滤器先做一次过滤，对于不

存在的数据布隆过滤器一般都能够过滤掉，不让请求再往后端发送。当布隆过滤器说某个值存在时，这个值可

能不存在；当它说不存在时，那就肯定不存在。

布隆过滤器就是一个大型的位数组和几个不一样的无偏 hash 函数。所谓无偏就是能够把元素的 hash 值算得比较均匀。

 

向布隆过滤器中添加 key 时，会使用多个 hash 函数对 key 进行 hash 算得一个整数索引值然后对位数组长度

进行取模运算得到一个位置，每个 hash 函数都会算得一个不同的位置。再把位数组的这几个位置都置为 1 就完成了 add 操作。

 

向布隆过滤器询问 key 是否存在时，跟 add 一样，也会把 hash 的几个位置都算出来，看看位数组中这几个位

置是否都为 1，只要有一个位为 0，那么说明布隆过滤器中这个key 不存在。如果都是 1，这并不能说明这个

key 就一定存在，只是极有可能存在，因为这些位被置为 1 可能是因为其它的 key 存在所致。如果这个位数组

比较稀疏，这个概率就会很大，如果这个位数组比较拥挤，这个概率就会降低。

 

这种方法适用于数据命中不高、 数据相对固定、 实时性低（通常是数据集较大） 的应用场景， 代码维护较为

复杂， 但是缓存空间占用很少

6、一次大V直播带货导致线上商品系统崩溃原因分析

 原本一次冷门的商品售卖，导致数十万数百万的请求到数据库层，可能导致数据库宕机。(相当于一次缓存击穿)

 

7、突发性热点缓存重建导致系统压力暴增问题分析

 相当于一次性要将很多冷门数据重建为热点数据。

 

8、基于DCL机制解决热点缓存并发重建问题实战

 双重检测锁 DCL

一个线程增加缓存成功，其他线程就不会再去请求数据库。

1，syschronized能解决单机服务多线程问题，但是不能解决分布式锁问题。

2，RLock解决

9、Redis分布式锁解决缓存与数据库双写不一致问题实战

问题：因为get查询和update修改中都有对数据库和缓存的操作，容易导致多线程并发问题，会引起缓存和数据库双写不一致。

 

方案：再加一个修改分布式锁

 

10、大促压力暴增导致分布式锁串行争用问题优化实战

 1，用redisson的读写锁，读加读锁，写加写锁。RReadWriteLock   锁key要一致。

 

 

 

2，也可以用阿里开源的canal通过监听数据库的binlog日志及时的去修改缓存，但是引入了新的中间件，增加

了系统的复杂度。

 

11、一次微博明星热点事件导致系统崩溃原因分析

 问题：redis扛不住，一般只是10W左右并发。

 

12、利用多级缓存架构解决Redis线上集群缓存雪崩问题

方案一：JVM进程缓存

 

13 info命令

能看到很多redis的基础信息