9、删除策略

1、redis中的数据特征

• XX：具有时效性的数据
• -1：永久有效的数据
• -2：已经过期的数据或被删除的数据或未定义的数据

2、时效性数据的存储结构

3、数据删除策略的目标

• 在内存占用和CPU占用之间寻找一种平衡，顾此失彼都会造成整体redis性能的下降，甚至引发服务器宕机或内存泄露

4、数据的删除策略

• 定时删除
• 创建一个定时器，当key设置有过期时间，且过期时间到达时，由定时器任务立即执行对键的删除操作
• 优点：节约内存，到时就删除，快速释放掉不必要的内存占用
• 缺点：CPU压力很大，无论CPU此时负载量多高，均占用CPU，会影响redis服务器响应时间和指令吞吐量
• 总结：用处理器性能换取存储空间(拿时间换空间)
• 惰性删除
• 数据到底过期时间，不做处理。等下次访问该数据时：
• 如果未过期，返回数据
• 发现已过期，删除，返回不存在
• 优点：节约CPU性能，发现必须删除的时候才删除
• 缺点：内存压力很大，出现长期占用内存的数据
• 总结：用存储空间换取处理器性能(拿空间换时间)

• 定期删除
• 周期性轮询redis库中的时效性数据，采用随机抽取的策略，利用过期数据占比的方式控制删除频度
• 特点1：CPU性能占用设置有峰值，检测频度可自定义设置
• 特点2：内存压力不是很大，长期占用内存的冷数据会被持续清理
• 总结：周期性抽查存储空间(随机抽查，重点抽查)
• 定时删除的策略：

5、删除策略比对

• 定时删除：优点：节约内存，无占用；缺点：不分时段占用CPU资源，频度高；总结：拿时间换空间
• 惰性删除：优点：内存占用严重；缺点：延时执行，CPU利用率高；总结：拿空间换时间
• 定期删除：优点：内存定期随机清理；缺点：每秒花费固定的CPU资源维护内存；总结：随机抽查，重点抽查

6、逐出算法

• redis使用内存存储数据，在执行每一条命令前，会调用freeMemoryIfNeeded()检测内存是否充足。如果内存不满足新加入数据的最低存储要求，redis要临时删除一些数据为当前指令清理存储空间。清理数据的策略称为逐出算法
• 注意：逐出算法的过程不是100%能够清理出足够的可使用的内存空间，如果不成功则反复执行。当对所有数据尝试完毕后，如果不能达到内存清理的要求，将会出现错误。

• 影响数据逐出的相关配置
• 最大可使用内存

maxmemory

• 占用物理内存的比例，默认值为0，表示不限制。生产环境中根据需求设定，通常设置在50%以上
• 每次选取待删除数据的个数

maxmemory-samples num

• 选取数据时并不会全库扫描，导致严重的性能消耗，降低读写性能。因此采用随机获取数据的方式作为待检测删除数据
• 删除策略

maxmemory-policy volatile-lru

• 达到最大内存后，对被挑选出来的数据进行删除的策略
• 删除的策略：
• 检测易失数据(可能会过期的数据集server.db[i].expires)
• volatile-lru：挑选最近最少使用的数据淘汰
• volatile-lfu：挑选最近使用次数最少的数据淘汰
• volatile-ttl：挑选将要过期的数据淘汰
• volatile-random：任意选择数据淘汰
• 检测全库数据(所有数据集server.db[i].dict)
• allkeys-lru：挑选最近最少使用的数据淘汰
• allkeys-lfu：挑选最近使用次数最少的数据淘汰
• allkeys-random：任意选择数据淘汰
• 放弃数据驱逐
• no-enviction(驱逐)：禁止驱逐数据(redis4.0中默认策略)，会引发错误OOM(Out of Memory)
• 当mem_used内存已经超过maxmemory的设定，对于所有的读写请求，都会触发redis.c/freeMemoryIfNeeded(void)函数以清理超出的内存。注意这个清理过程是阻塞的，直到清理出足够的内存空间。所以如果在达到maxmemory并且调用方还在不断写入的情况下，可能会反复触发主动清理策略，导致请求会有一定的延迟。
• 清理时会根据用户配置的maxmemory-policy来做适当的清理(一般是LRU或TTL)，这里的LRU或TTL策略并不是针对redis的所有key，而是以配置文件中的maxmemory-samples个key作为样本池进行抽样清理
• maxmemory-samples在redis-3.0.0中的默认配置为5，如果增加，会提高LRU或TTL的精准度，redis作者测试的结果是当这个配置为10时已经非常接近全量LRU的精准度了，并且增加maxmemory-samples会导致在主动清理时消耗更多的CPU时间，建议：
• 尽量不要触发maxmemory，最高在mem_used内存占用达到maxmemory的一定比例后，需要考虑调大hz以加快淘汰或者进行集群扩容
• 如果能够控制住内存，则可以不用修改maxmemory-samples配置；如果redis本身就作为LRU cache服务(这种服务一般长时间处于maxmemory状态，由Redis自动做LUR淘汰)，可以适当调大maxmemory-samples。
• 数据逐出策略配置依据
• 使用INFO命令输出监控信息，查询缓存hit和miss的次数，根据业务需求调优redis的配置