Redis-缓存设计与性能优化

多级缓存

image

缓存穿透、缓存击穿、缓存雪崩

缓存穿透

缓存穿透是指查询一个根本不存在的数据，缓存层和存储层都不会命中，通常处于容错的考虑，如果从存储层查不到数据则不写入缓存层。
缓存穿透将导致不存在的数据每次请求都要到存储查询，失去了缓存保护后端存储的意义。
造成缓存穿透的基本原因有两个：

  • 自身业务代码或者数据出现问题。
  • 一些恶意攻击，爬虫等造成大量空命中。

缓存穿透问题解决方案：

  1. 缓存空对象
点击查看代码 
String get(String key) {
	//从缓存中获取数据
	String cacheValue = cache.get(key);
	//缓存为空
	if (StringUtils.isBlank(cacheValue)) {
		//从存储中获取
		String storageValue = storage.get(key);
		cache.set(key, storageValue);
		//如果存储数据为空，需要设置一个过期时间(300秒)
               if (storageValue == null) {
                  cache.expire(key, 60 * 5);
                }
                return storageValue;
        } else {
            //缓存非空
            return cacheValue;
        }
}
  1. 布隆过滤器
    对于恶意攻击，向服务器请求大量不存在的数据造成的缓存穿透，还可以用布隆过滤器先做一次过滤，对于不存在的数据布隆过滤器一般都能够过滤掉，不让请求再往后端发送。当布隆过滤器说某个值存在时，这个值可能不存在；当它说不存在时，那就肯定不存在。
    image

布隆过滤器就是一个大型的位数组和几个不一样的无偏hash函数。所谓无偏就是能够把元素的hash值算的比较均匀。
向布隆过滤器中添加key时，会使用多个hash函数对key进行hash运算得到一个证书索引值然后对位数组长度进行取模运算得到一个位置，每个hash函数都会算得一个不同的位置。再把位数组的这几个位置都为1就完成了add操作。
向布隆过滤器寻味key是否存在时，跟add一样，也会把hash的几个位置都算出来，看看位数组中这几个位置是否都为1，只要有一个位为0，那么说明布隆过滤器中这个key不存在。如果都是1，这并不能说明明这个key就一定存在，只是极有可能存在，因为这些位被置为1可能是因为其它的key存在所致。如果这个位数组比较稀疏，这个概率很大，如果这个位数组比较拥挤，这个概率就会降低。
这种方法适用于数据命中率不高、数据相对固定、实时性低的应用场景，代码维护比较复杂，但是缓存空间占用很少。
可以用redisson实现布隆过滤器，代码如下：

点击查看代码 
//引入依赖
<dependdency>
	<groupId>org.redisson</groupId>
	<artifactId>redisson</artifactId>
	<version>3.6.5</version>
</dependdency>

public class RedissonBloomFilter {
	public static void main(String[] args) {
		Config config = new Config;
		config.useSingleServer.setAddress("redis://localhost:6379");
		//构造Redisson
		RedissonClient redisson = Redisson.create(config);
		RBloomFilter<String/> bloomFilter = redisson.getBloomFilter("nameList");
		//初始化布隆过滤器：预计元素为100000000L，误差为3%，根据这两个参数会计算出底层的bit数组大小
		bloomFilter.tryInit(100000000L, 0.03);
		//将keya插入到布隆过滤器中
		bloomFilter.add("keya");
		//判断下面号码是否在布隆过滤器中
		System.out.println(bloomFilter.contains("kaya"));
		System.out.println(bloomFilter.contains("keyb"));
		System.out.println(bloomFilter.contains("keyc"));
	}
}

缓存击穿（失效）

由于大批量缓存在同一时间失效可能导致大量请求同时穿透缓存直达数据库，可能会造成数据库瞬间压力过大甚至挂掉，对于这种情况，我们在批量增加缓存时最好将这一批数据的缓存过期时间设置为一个时间段内的不同时间。

缓存雪崩

缓存雪崩是指缓存层支撑不住或者宕机后，流量会像奔逃的野牛一样，打向后端存储层。
由于缓存层承载着大量请求，有效的保护了存储层，但是如果缓存层由于某些原因不能提供服务，于是大量的请求都会打到存储层，存储层的调用量会暴增，造成存储层也会级联宕机的情况。
预防和解决缓存雪崩的问题，可以从一下三个方面进行着手：

  1. 保证缓存层服务高可用性，比如使用Redis Sentinel或Redis Cluster。
  2. 依赖隔离组件为后端限流熔断并降级。比如使用Sentinel或Hystrix限流降级组件。
  3. 提前演练。

热点缓存key重建优化

开发人员使用“缓存+过期时间”的策略既可以加速数据读写，有保证数据的定期更新，这种模式基本能够满足绝大部分需求。但是有两个问题如果同时出现，可能就会对应用造成致命的危害：

  • 当前key是一个热点key，并发量非常大。
  • 重建缓存不能在短时间按完成，可能是一个复杂计算，例如发杂的SQL、多次IO、多个依赖等。

在缓存失效的瞬间，有大量线程来重建缓存，造成后端负载加大，甚至可能会让应用崩溃。
要解决这个问题主要就是避免大量线程同时重建缓存。
我们可以利用互斥锁来解决，此方法只允许一个线程重建缓存，其他线程等待重建缓存的线程执行完，重新从缓存获取数据即可。

点击查看代码 
String get(String key){
	//从Redis中获取数据
	String value = redis.get(key);
	//如果value为空，则开始构建缓存
	if(value == null) {
		//只允许一个线程重建缓存，使用nx，并设置过期时间ex
		String mutexKey = "mutext:key:" + key;
		if(redis.set(mutexKey, "1", "ex 180", "nx")){
			//从数据源获取数据
			value = db.get(key);
			//回写redis，并设置过期时间
			redis.setex(key, timeout, value);
			//删除key_mutex
			redis.delete(mutexKey);
		} else {
			Thread.sleep(50);
			get(key);
		}
	}
	return value;
}

缓存与数据库双写不一致终极解决

在大并发下，同时操作数据库与缓存会存在数据不一致性问题

  1. 双写不一致情况
    image

  2. 并发读写不一致情况
    image

解决方案

  1. 对于并发几率很小的数据（如个人维护的订单数据、用户数据），这种几乎并不用考虑这个问题，很少会发生缓存不一致，可以给缓存数据加上过期时间，每隔一段时间触发读的主动更新即可。
  2. 就算并发很高，如果业务上能容忍短时间的缓存数据不一致（如商品名称，商品分类等等），缓存加上过期时间依然可以解决大部分业务对于缓存的要求。
  3. 如果不能容忍缓存数据不一致，可以通过读写锁保证并发读写或写写的时候按顺序排好队，读读的时候相当于无锁。
  4. 也可以用阿里开源的canal通过监听数据库的binlog日志及时的去修改缓存，但是引入了新的中间件，增加了系统的复杂度。
    image

总结： 以上我们针对的都是都多写少的情况加入缓存提高性能如果写多读少的情况又不能容忍缓存数据不一致，那就没必要加缓存了，可以直接操作数据库。放入缓存的数据应该是对实时性，一致性要求不是很高的数据。切记不要为了用缓存，同时又要保证给绝对的一致性做大量的过度设计和控制，增加系统复杂性！

Redis开发规范与性能优化

键值设计

key名设计

  • 【建议】：可读性和可管理性
    以业务名或数据库名为前缀，用冒号分割，比如业务名:表名:id
  • 【建议】：简洁性
    保证语义的前提下，控制key的长度，当key较多时，内存占用也不容忽视
  • 【强制】：不要包含特殊字符
    反例：包含空格、换行、单双引号以及其他转移字符

value设计

  • 【强制】：拒绝bigkey(防止网卡流量，慢查询)
    在Redis中，一个字符串最大512MB，一个二级数据结构（例如：hash\list\set\zset）可以存储大约40亿个元素，但实际上如果有下面两种情况，就会认为他是bigkey。
    • 字符串类型：它的big体现在单个value值很大，一般认为超过10KB就算bigkey。
    • 非字符串类型：哈希、列表、集合、有序集合，它们的big体现在元素个数太多。一般来说，string类型控制在10KB以内，hash\list\set\zset元素个数不要超过5000.
      反例：一个包含200万个元素的list。

bigkey的危害

  • 导致redis阻塞
  • 网络拥塞
    bigkey也就意味着每次获取产生的网络流量较大，假设一个bigkey为1MB，客户端每秒访问量是1000，那么每秒产生1000MB（按照字节算是128MB/s）的流量，对于普通千兆网卡的服务器来说压力会很大，而且一般服务器会采用单机多实例的方式来部署，也就是说一个bigkey可能会对其他实例也造成影响，其后果不堪设想
  • 过期删除
    有个bigkey，它安分守己（只执行简单的命令，例如hget,lpop,zscore等），但它设置了过期时间，当它过期后，会被删除，如果没有使用Redis4.0的过期异步删除（lazyfree-lazy-expire-yes），也就会存在阻塞Redis的可能性。

bigkey的产生

一般来说，bigkey的产生都由于程序设计不当，或者对于数据规模预料不清楚造成的，例如：

  • 社交类：粉丝列表，如果某些明星或者大V不精心设计，必为bigkey。
  • 统计类：例如按天存储某项功能或者网站的用户集合，除非没几个人用，否则必为bigkey。
  • 缓存类：将数据从数据库load出来序列化放在Redis里，这个方式非常常用，但有两个地方要注意：
    • 是不是有必要把所有字段都缓存；
    • 有没有相关关联的数据，如果为了方便把所有相关的数据放在一个key里，则容易产生bigkey。

如何优化bigkey

  1. 拆
    big list：list1,list2,...,listN
    big hash:可以将数据分段存储，比如一个大的key，假设存了1百万的用户数据，可以拆分成200个key，每个key下面存放5000个用户数据。

  2. 如果bigkey不可避免，也要思考一下要不要每次把所有元素都取出来。删除也是一样。

命令使用

  1. 【推荐】：O(N)命令关注N的数量
    例如：hgetall,lrange,smembers,zrange,sinter等并非不能使用，但是需要明确N的值。有遍历需求的可以使用hscan,sscan,zscan代替。
  2. 【推荐】：禁用命令
    禁止线上使用keys,flushall,flushdb等，通过redis的rename机制禁掉命令，或者使用scan的方式渐进式处理。
  3. 【推荐】：合理使用select
    Redis的多数据库较弱，使用数字进行区分，很多客户端支持较差，同时多业务用数据库实际还是单线程处理，会有干扰。
  4. 【推荐】：使用批量操作提高效率。
    1. 原生命令，例如：mget，mset。
    2. 非原生命令，可以使用pipeline提高效率。
      但是要注意控制一次批量操作的元素个数
  5. 【建议】：Redis事务功能较强，不建议过多使用，可以用Lua替代。

客户端使用

  1. 【推荐】：避免多个应用使用一个Redis实例
  2. 【推荐】：使用带有连接池的数据库，可以有效控制连接，同时提高效率，标准使用方式：
连接池控制代码 
JedisPoolConfig jedisPoolConfig = new JedisPoolConfig();
jedisPoolConfig.setMaxTotal(5);
jedisPoolConfig.setMaxIdle(2);
jedisPoolConfig.setTestOnBorrow(true);

JedisPool jedisPool = new JedisPool(jedisPoodConfig, "192.168.0.1", 6379, 3000, null);

Jedis jedis = null;
try{
	jedis = jedisPool.getResource();
	//具体的命令
	jedis.executeCommand();
} catch (Exception e) {
	logger.error("op key {} error: " + e.getMessage(), key, e);
} finally {
	//在JedisPool模式下，Jedis会被归还给资源池
	if (jedis != null) {
		jedis.close();
	}
}

优化建议

  1. maxTotal: 最大连接数，早期的版本叫mxzActive
    设置该参数需要考虑的因素：

    • 业务希望Redis并发量。
    • 客户端执行命令时间。
    • Redis资源：例如nodes（应用个数）* maxTotal是不能超过reds的最大连接数maxclients.
    • 资源开销：例如虽然希望控制空闲连接（连接池此刻可马上使用的连接），但是不希望因为连接池的频繁释放创建连接造成不必要开销。
      例如：
    • 一次命令时间（borrow|return resource + Jedis执行命令）的平均耗时约为1ms，一个连接QPS大约是1000；
    • 业务期望的QPS是50000
      那么理论上需要的资源池大小为50000/1000 = 50个。但实际上这是个理论值，还要考虑到比理论值预留一些资源，通常来讲mxzTotal可以比理论值大一些。
      但这个值不是越大越好，一方面连接太多占用客户端和服务器资源，另一方面对于Redis这种高QPS的服务器，一个大命令的阻塞即使设置再大资源池也会无济于事。

  2. maxIdle和minIdle
    maxIdle实际上才是业务需要的最大连接数，maxTotal是为了给出余量，所以maxIdle不要设置过小，否则会有new Jedis()开销。
    连接池的最佳性能是maxTotal = maxIdle，这样就避免连接池伸缩带来的性能干扰。但是如果并发量不大，或者maxTotal设置过高，会导致不必要的连接资源浪费。一般推荐maxIdle可以设置为按上面的业务期望QPS计算出来的理论连接数，maxTotal可以再放大一倍。
    minIdle（最小空闲连接数），与其说是最小连接数，不如说是“至少需要保持的空闲连接数”，在使用连接的过程中，如果连接数超过了minIdle，那么继续建立连接，如果超过了maxIdle，当超过的连接执行完任务后会慢慢被移出连接池释放掉。
    如果系统启动完马上就会有很多的请求过来，那么可以给Redis连接池做预热，比如快速的创建一些Redis连接，执行简单命令，类似ping()，快速的将连接池里的空闲连接提升到minIdle的数量。

连接池预热示例代码 
List<Jedis/> minIdleJedisList = new ArrayList<Jedis/>(jedisPoolConfig.getMinIdle());

for(int i = 0; i < jedisPoolConfig.getMinIdle(); i++) {
	Jedis jedis = null;
	try {
		jedis = pool.getResource();
		minIdleJedisList.add(jedis);
		jedis.ping();
	} catch (Exception e) {
		logger.error(e.getMessage(), e);
	} finally {
		//注意，这里不能马上close将连接还回连接池，否则最后连接池只能创建1个连接
		//jedis.close();
	}
}

//统一将预热的连接还回连接池
for(int i = 0; i < jedisPoolConfig.getMinIdle(); i++) {
	Jedis jedis = null;
	try {
		jedis = minIdleJedisList.get(i);
		//将连接还回连接池
		jedis.close();
	} catch (Exception e) {
		logger.error(e.getMessage(), e);
	} finally {
	}
}

总之，要根据实际系统的QPS和调用redis客户端的规模整体评估每个节点所使用的连接池大小。

3.【建议】
高并发下建议客户端添加熔断功能。

4.【建议】

  • Redis对于过期键有三种清除策略
    • 被动删除：当读、写一个已过期的key时，会触发惰性删除策略，直接删除这个过期key。
    • 主动删除：由于惰性删除策略无法保证冷数据被及时删掉，所以Redis会定期主动淘汰一批已过期的key。
    • 当前已用内存超过maxmemory限定时，触发主动清除策略。
  • 主动清除策略
    • 针对设置了过期时间的key做处理
      • volatile-ttl：在筛选时，会针对设置了过期时间的键值对，根据过期时间的先后进行删除，越早过期的越先被删除。
      • volatile-random：就像它的名称一样，在设置了过期时间的键值对中，进行随机删除。
      • volatile-lru：会使用LRU算法筛选设置了过期时间的键值对删除。
      • volatile-lfu：会使用LFU算法筛选设置了过期时间的键值对删除。
    • 针对所有的key做处理
      • allkeys-random：从所有键值对中随机选择并删除数据
      • allkeys-lru：会使用LRU算法在所有数据中进行筛选删除。
      • allkeys-lfu：会使用LFU算法在所有数据中进行筛选删除。
    • 不处理
      • noeviction：不会剔除任何数据，拒绝所有写入操作并返回客户端错误信息“(error)OOM command not allowed when user memory”，此时Redis执行应读操作。

清除算法比较

LRU算法（Least Recently Used，最近最少使用）

淘汰很久没被访问过的数据，以最近一次访问时间作为参考。

LFU算法（Least Frequently Used， 最不经常使用）

淘汰最近一段时间被访问次数最少的数据，以次数作为参考。

两种算法如何选择？

当存在热点数据时，LRU的效率恨到。但偶发性的、周期性的批量操作会导致LRU命中率急剧下降，缓存污染情况变焦严重。这时使用LFU可能更好。

根据自身业务类型，配置好maxmemory-policy(默认是noeviction)，推荐使用volatile-lru。如果不设置最大内存，当Redis内存超出物理内存限制时，内存的数据会开始和磁盘产生频繁的交换（swap），会让Redis的性能急剧下降。当Redis运行在主从模式时，只有主节点才会执行过期删除策略，然后把删除操作“del key”同步到从节点删除数据。

posted @ 2021-10-05 20:21  哈希赛特  阅读(399)  评论(0)    收藏  举报