Redis的BigKey扫描及优化

 

拒绝bigkey，防止网卡流量、慢查询、阻塞

如何寻找bigkey？

1. redis-cli自带--bigkeys，例如：redis-cli -h -a --bigkeys
2. 获取生产Redis的rdb文件，通过rdbtools分析rdb生成csv文件，再导入MySQL或其他数据库中进行分析统计，根据size_in_bytes统计bigkey
3. 通过python脚本，迭代scan key，每次scan 1000，对扫描出来的key进行类型判断，例如：string长度大于10K，list长度大于10240认为是big bigkeys
4. 其他第三方工具，例如：redis-rdb-cli，地址：https://github.com/leonchen83/redis-rdb-cli

如何优化bigkey？

①string类型控制在10kb以内，hash、list、st、zset元素个数不要超过5000，或者取模的形式拆分成多个小key。

②关键还是在于key一定设置过期时间，不是丢进缓存就不管了。

③删除大key使用unlink异步去删除，不阻塞。

④使用slowlog优化耗时命令

⑤慢查询主要有两个配置项

slowlog-log-slower-than 10000：用于设置慢查询的评定时间，也就是说超过此配置项的命令，将会被当成满操作记录在慢查询日志中，它执行单位是微秒（1秒等于1000000微秒）

slowlog-max-len  128 用来配置慢查询日志的最大记录数，最大上限128。

使用slowlog get n（n是数字）命令来获取相关慢查询日志，再找到这些慢查询对相应的业务进行优化