Redis

Redis最新超详细版教程通俗易懂一、Nosql概述为什么使用Nosql 1、单机Mysql时代

image-20220320111424582

90年代,一个网站的访问量一般不会太大，单个数据库完全够用。随着用户增多，网站出现以下问题

数据量增加到一定程度，单机数据库就放不下了

数据的索引（B+ Tree）,一个机器内存也存放不下

访问量变大后（读写混合），一台服务器承受不住。

2、Memcached(缓存) + Mysql + 垂直拆分（读写分离）

网站80%的情况都是在读，每次都要去查询数据库的话就十分的麻烦！所以说我们希望减轻数据库的压力，我们可以使用缓存来保证效率！

image-20220320111847463

优化过程经历了以下几个过程：

优化数据库的数据结构和索引(难度大) 文件缓存，通过IO流获取比每次都访问数据库效率略高，但是流量爆炸式增长时候，IO流也承受不了 MemCache,当时最热门的技术，通过在数据库和数据库访问层之间加上一层缓存，第一次访问时查询数据库，将结果保存到缓存，后续的查询先检查缓存，若有直接拿去使用，效率显著提升。 3、分库分表 + 水平拆分 + Mysql集群

image-20220320112254642

4、如今最近的年代

如今信息量井喷式增长，各种各样的数据出现（用户定位数据，图片数据等），大数据的背景下关系型数据库（RDBMS）无法满足大量数据要求。Nosql数据库就能轻松解决这些问题。

目前一个基本的互联网项目

image-20220320112908695

为什么要用NoSQL ？

用户的个人信息，社交网络，地理位置。用户自己产生的数据，用户日志等等爆发式增长！这时候我们就需要使用NoSQL数据库的，Nosql可以很好的处理以上的情况！

什么是NoSQL NoSQL

NoSQL = Not Only SQL (不仅仅是SQL)

关系型数据库：列+行，同一个表下数据的结构是一样的。

非关系型数据库：数据存储没有固定的格式，并且可以进行横向扩展。

NoSQL泛指非关系型数据库，随着web2.0互联网的诞生，传统的关系型数据库很难对付web2.0时代！尤其是超大规模的高并发的社区，暴露出来很多难以克服的问题，NoSQL在当今大数据环境下发展的十分迅速，Redis是发展最快的。

很多的数据类型用户的个人信息，社交网络，地理位置。这些数据类型的存储不需要一个固定的格式！不需要多月的操作就可以横向扩展的！ Map<String,Object> 使用键值对来控制。

NoSQL特点

方便扩展（数据之间没有关系，很好扩展！）大数据量高性能（Redis一秒可以写8万次，读11万次，NoSQL的缓存记录级，是一种细粒度的缓存，性能会比较高！）数据类型是多样型的！（不需要事先设计数据库，随取随用）传统的 RDBMS 和 NoSQL 传统的 RDBMS(关系型数据库)

结构化组织
SQL
数据和关系都存在单独的表中 row col
操作，数据定义语言
严格的一致性
基础的事务
...

Nosql

不仅仅是数据
没有固定的查询语言
键值对存储，列存储，文档存储，图形数据库（社交关系）
最终一致性
CAP定理和BASE
高性能，高可用，高扩展
... 了解：3V + 3高

大数据时代的3V ：主要是描述问题的

海量Velume 多样Variety 实时Velocity 大数据时代的3高：主要是对程序的要求

高并发高可扩高性能真正在公司中的实践：NoSQL + RDBMS 一起使用才是最强的。

啊里巴巴演进分析推荐阅读：阿里云的这群疯子：https://yq.aliyun.com/articles/653511

image-20220320145710775

image-20220320145720258

如果你未来相当一个架构师：没有什么是加一层解决不了的！

商品信息

一般存放在关系型数据库：Mysql,淘宝内部使用的Mysql都是经过内部改动的不是大家用的mysql。

商品描述、评论(文字居多)

文档型数据库：MongoDB

图片

分布式文件系统 FastDFS
淘宝：TFS
Google: GFS
Hadoop: HDFS
阿里云: oss

商品关键字用于搜索

搜索引擎：solr,elasticsearch
阿里：Isearch 多隆 ---所有苦逼的人都有一段苦逼的岁月~但是你只要像SB一样的去坚持，终将牛逼！

商品热门的波段信息

内存数据库：Redis，Tair、Memcache

商品交易，外部支付接口

第三方应用

大型互联网应用问题：

数据类型太多了！数据源繁多，经常重构！数据要改造，大面积改造解决问题：

image-20220320150701724

NoSQL的四大分类 KV键值对：

新浪：Redis 美团： Redis+Tair 阿里、百度：Redis + memecache 文档行数据库(bson格式和json一样)：

MongoDB(一般必须要掌握) 基于分布式文件存储的数据库。C++编写，用于处理大量文档。 MongoDB是RDBMS和NoSQL的中间产品。MongoDB是非关系型数据库中功能最丰富的，NoSQL中最像关系型数据库的数据库。 ConthDB 列存储数据库

HBase 分布式文件系统图关系数据库

Neo4j、InfoGrid 四者对比

image-20220320153001249

二、Redis入门概述 Redis是什么

Redis（Remote Dictionary Server )，即远程字典服务。

是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。

与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。

Redis能该干什么？

内存存储、持久化，内存是断电即失的，所以需要持久化（RDB、AOF）高效率、用于高速缓冲发布订阅系统地图信息分析计时器、计数器(eg：浏览量) ................ 特性

多样的数据类型

持久化

集群

事务

….....

下载与安装官网：https://redis.io/

image-20220320155917671

中文网： http://www.redis.cn/

下载地址：通过官网下载即可

image-20220320154158257

注意：window在Github上下载

Redis推荐都是在Linux服务器上搭建的，我们都是基于Linux学习！

Windows安装下载地址：https://github.com/MSOpenTech/redis/releases

然后选择你喜欢的版本zip或msi下载，这里建议下载 3.0.504 版本，因为 3.2.100 不是稳定版本

1.解压安装包

image-20220320155247000

2.双击redis-server.exe启动redis服务器，双击redis-cli.exe打开redis客户端（用来执行命令，访问服务器的）

image-20220320155417668

3.启动redis-cli.exe测试

image-20220320155546529

Linux安装 1.下载压缩包 redis-6.2.6.tar.gz

2.解压redis的安装包

#第二步解压JDk 2.1)如果/usr下没有redis目录，则需要先创建一个java目录： mkdir redis 2.2)再使用cp命令将redis-6.2.6.tar.gz文件拷贝一份到/usr/redis cp redis-6.2.6.tar.gz /usr/redis/ 2.3)在usr/redis下使用 tar -zxvf 命令解压redis-6.2.6.tar.gz文件 tar -zxvf redis-6.2.6.tar.gz 2.4)使用 rm -f redis-6.2.6.tar.gz删除压缩包 rm -f redis-6.2.6.tar.gz image-20220322210552706

3.进入解压后的文件，我们可以看到redis的配置文件

image-20220322210834688

4.基本的环境安装

yum install gcc-c++ gcc -v #查看安装的版本

make #执行make image-20220322211347264

5.redis的默认安装路径：usr/local/bin

image-20220322212009992

6.将redis配置文件，复制到我们当前目录下（当前目录为/usr/local/bin/）

image-20220322212440805

7.redis默认不是后台启动的，修改配置文件

image-20220322212626639

8.启动redis服务

image-20220322214308802

9.使用redis-cli 进行连接测试

image-20220322214520336

10.查看redis的进程是否开启

image-20220322214838025

11.关闭redis服务 shutdown

image-20220322215112866

12.在此查看进程是否存在

image-20220322215045045

13.后面我们会使用单击多Reids启动集群

测试性能 redis-benchmark：Redis官方提供的性能测试工具，参数选项如下：

image-20220322215546861

简单测试：

#测试： 100个并发连接，100000请求 redis-benchmark -h localhost -p 6379 -c 100 -n 100000 测试结果：

image-20220322222210533

基础的知识 redis默认有16个数据库

image-20220322222526384

默认使用的是第0个

可以使用select进行切换数据库

image-20220322223211700

127.0.0.1:6379[3]> keys * #查看数据库所有的key

"name" 清空当前数据库 flushdb

清空全部数据库的内容 flushall

查看当前数据库中所有的key: keys *

127.0.0.1:6379[3]> flushdb #清空当前数据库 OK 127.0.0.1:6379[3]> keys * (empty array)

127.0.0.1:6379> flushall #清空全部数据库的内容 OK 127.0.0.1:6379> keys * (empty array)

image-20220322223555571

Redis 是单线程的

Redis是基于内存操作的，CPU不是Redis性能瓶颈，Redis的瓶颈是根据机器的内存和网络带宽。

Redis是C语言写的，官方提供的数据为 100000+的QPS，完全不比同样是使用key-vale的Memecache差。

Redis为什么单线程还这么快？

1、误区1：高性能的服务器一定是多线程的？

2、误区2：多线程（CPU上下文会切换！）一定比单线程效率高！

核心：redis是将所有的数据全部放在内存中的，所以说单线程去操作效率就是最高的，多线程(cpu上下文会切换，耗时的操作。) ，对呀内存系统来说，如果没有上下文切换效率就是最高的。多次读写都是在一个cpu上的，在内存情况下，这就是最佳的方案。

三、五大数据类型 Redis是一个开源（BSD许可），内存存储的数据结构服务器，可用作数据库，高速缓存和消息队列代理。它支持多种类型的数据结构，如：字符串(strings)、哈希表(hashes)、列表(lists)、集合(sets)、有序集合(sorted sets)与范围查询，bitmaps，位图，hyperloglogs，地理空间(geospaial)，索引半径查询等数据类型。内置复制、Lua脚本、LRU驱动时间、事务以及不同级别磁盘持久化功能，同时通过Redis Sentinel提供高可用，通过Redis Cluster提供自动分区。

Redis-key 在redis中无论什么数据类型，在数据库中都是以key-value形式保存，通过进行对Redis-key的操作，来完成对数据库中数据的操作。

一些常用命令

127.0.0.1:6379> exists name #判断当前的key是否存在 (integer) 1 127.0.0.1:6379> exists name1 (integer) 0 127.0.0.1:6379> move name 1 #移除当前的key (integer) 1 127.0.0.1:6379> keys * #查看所有的key

"age" 127.0.0.1:6379> set name jihu #set key OK 127.0.0.1:6379> keys *
"name"
"age" 127.0.0.1:6379> get name "jihu" 127.0.0.1:6379> expire name 10 #设置key的过期时间，单位是秒 (integer) 1 127.0.0.1:6379> ttl name #查看当前key的剩余时间 (integer) 3 127.0.0.1:6379> ttl name (integer) 1 127.0.0.1:6379> ttl name (integer) -2 127.0.0.1:6379> get name (nil) 127.0.0.1:6379> type name #查看当前key的类型 string 127.0.0.1:6379> type age string

更多命令学习：https://www.redis.net.cn/order/

String(字符串) 127.0.0.1:6379> set key1 vl #设置值 OK 127.0.0.1:6379> get key1 #获取值 "vl" 127.0.0.1:6379> keys * #获得所有的key

"key1"
"name"
"age" 127.0.0.1:6379> exists key1 #判断某一个key是否存在 (integer) 1 127.0.0.1:6379> APPEND key1 "hello" #追加字符串，如果当前key不存在就相当于setkey (integer) 7 127.0.0.1:6379> get key1 "vlhello" 127.0.0.1:6379> strlen key1 #获取字符串的长度 (integer) 7 127.0.0.1:6379> append key1 ",zhangsan" (integer) 16 127.0.0.1:6379> get key1 "vlhello,zhangsan" 127.0.0.1:6379> strlen key1 (integer) 16 127.0.0.1:6379> ########################################################## #步长 i+= 127.0.0.1:6379> set views 0 #初始浏览量为0 OK 127.0.0.1:6379> get views "0" 127.0.0.1:6379> incr views #使值加1（自增1） (integer) 1 127.0.0.1:6379> incr views (integer) 2 127.0.0.1:6379> decr views #使值减一（自减1） (integer) 1 127.0.0.1:6379> decr views (integer) 0 127.0.0.1:6379> decr views (integer) -1 127.0.0.1:6379> get views "-1" 127.0.0.1:6379> incrby views 10 #设置步长，指定增量 (integer) 9 127.0.0.1:6379> incrby views 10 (integer) 19 127.0.0.1:6379> decrby views 5 #设置步长，减少增量 (integer) 14 ############################################################# #字符串范围： range 127.0.0.1:6379> get key1 "vlhello,zhangsan" 127.0.0.1:6379> getrange key1 2 5 #截取字符串 [2,5] "hell" 127.0.0.1:6379> getrange key1 2 -1 #从第二个字符开始，获取全部字符串 "hello,zhangsan" 127.0.0.1:6379> getrange key1 0 -1 #获取全部字符串和 get key是一样的 "vlhello,zhangsan"

#替换 127.0.0.1:6379> set key2 asfzxc OK 127.0.0.1:6379> get key2 "asfzxc" 127.0.0.1:6379> setrange key2 2 www #替换指定位置开始的字符串 (integer) 6 127.0.0.1:6379> get key2 "aswwwc" #############################################################

setex (set with expire) #设置过期时间

setnx (set if not exist) #不存在在设置 (在分布式锁中会常常使用)

127.0.0.1:6379> get key1 "vlhello,zhangsan" 127.0.0.1:6379> setex key1 10 "zhangsan" #设置key1的值为 zhangsan，10秒后过期 OK 127.0.0.1:6379> get key1 "zhangsan" 127.0.0.1:6379> ttl key1 (integer) -2 127.0.0.1:6379> get key1 (nil) 127.0.0.1:6379> setnx key3 "redis" #如果key3不存在，创建key3 (integer) 1 127.0.0.1:6379> setnx key3 "monkey" #如果key3存在，创建失败 (integer) 0 127.0.0.1:6379> get key3 "redis" ############################################################# mset mget 127.0.0.1:6379> mset k1 v1 k2 v2 k3 v3 #同时设置多个值 OK 127.0.0.1:6379> keys *

"k3"
"k2"
"k1" 127.0.0.1:6379> mget k1 k2 k3 #同时获取多个值
"v1"
"v2"
"v3" 127.0.0.1:6379> msetnx k1 v1 k5 v5 #msetnx 是一个原子性操作，要么都成功要么都失败 (integer) 0 127.0.0.1:6379> get k5 (nil)

#对象 set user:1 {name:zhangsan,age:30} #设置一个user：1对象值为json字符来保存一个对象。 127.0.0.1:6379> set user:1 {name:zhangsan,age:30} OK 127.0.0.1:6379> get user:1 "{name:zhangsan,age:30}"

#这里的key是一个巧妙的设计： user:{id}:{filed}，如此设计在redis中是可以的。 127.0.0.1:6379> mset user:1:name lisi user:1:age 2 OK 127.0.0.1:6379> mget user:1:name user:1:age

"lisi"
"2" 127.0.0.1:6379> get user:1 (nil) ############################################################# getset #先get然后再set 127.0.0.1:6379> getset db redis #如果不存在值，则返回 nil (nil) 127.0.0.1:6379> get db "redis" 127.0.0.1:6379> getset db monkey #如果存在值，获取原来的值，并设置新的值 "redis" 127.0.0.1:6379> get db "monkey" String类似的使用场景：value除了是我们的字符串还可以是我们的数字！

计数器统计多单位的数量 uid:5416456:follow 0 粉丝数对象缓存存储 List(列表) Redis列表是简单的字符串列表，按照插入顺序排序。你可以添加一个元素到列表的头部（左边）或者尾部（右边）

一个列表最多可以包含 232 - 1 个元素 (4294967295, 每个列表超过40亿个元素)。

首先我们列表，可以经过规则定义将其变为队列、栈、双端队列等

image-20220323113025780

正如图Redis中List是可以进行双端操作的，所以命令也就分为了LXXX和RLLL两类，有时候L也表示List例如LLEN

#################################################### 127.0.0.1:6379> lpush list one #将一个值或者多个值，插入到列表头部 (左边插入) (integer) 1 127.0.0.1:6379> lpush list two (integer) 2 127.0.0.1:6379> lpush list three (integer) 3 127.0.0.1:6379> lrange list 0 -1 #获取list中的值

"three"
"two"
"one" 127.0.0.1:6379> lrange list 0 1 #通过区间获取具体的值
"three"
"two" 127.0.0.1:6379> rpush list right #将一个值或者多个值，插入到列表尾部 (右边插入) (integer) 4 127.0.0.1:6379> lrange list 0 -1
"three"
"two"
"one"
"right" #################################################### LPOP RPOP 127.0.0.1:6379> lpop list #移除list的第一个元素 "three" 127.0.0.1:6379> lpop list 2 #移除list的前两个元素
"two"
"one" 127.0.0.1:6379> lrange list 0 -1 #获取list中的值
"right" 127.0.0.1:6379> lrange list 0 -1
"right"
"li1"
"li" 127.0.0.1:6379> rpop list 1 #移除list的最后一个元素
"li" 127.0.0.1:6379> lrange list 0 -1
"right"
"li1" #################################################### Lindex 127.0.0.1:6379> lrange list 0 -1
"right"
"li1" 127.0.0.1:6379> lindex list 2 #通过下标获得list中的某一个值 (nil) 127.0.0.1:6379> lindex list 0 "right" #################################################### Llen 127.0.0.1:6379> llen list #返回列表的长度 (integer) 2 #################################################### 移除指定的值 Lrem 取关用到： uid 127.0.0.1:6379> lrange list 0 -1
"one"
"one"
"right"
"li1" 127.0.0.1:6379> lrem list 1 one #移除list集合中指定个数的value，精确匹配 (integer) 1 127.0.0.1:6379> lrange list 0 -1
"one"
"right"
"li1" 127.0.0.1:6379> lpush list one (integer) 4 127.0.0.1:6379> lpush list one (integer) 5 127.0.0.1:6379> lrange list 0 -1
"one"
"one"
"one"
"right"
"li1" 127.0.0.1:6379> lrem list 3 one #移除三个指定的值 (integer) 3 127.0.0.1:6379> lrange list 0 -1
"right"
"li1" #################################################### trim 修剪。 list截断 127.0.0.1:6379> rpush mulist "hello1" (integer) 1 127.0.0.1:6379> rpush mulist "hello2" (integer) 2 127.0.0.1:6379> rpush mulist "hello3" (integer) 3 127.0.0.1:6379> rpush mulist "hello4" (integer) 4 127.0.0.1:6379> lrange mulist 0 -1
"hello1"
"hello2"
"hello3"
"hello4" 127.0.0.1:6379> ltrim mulist 1 2 #通过下标截取指定的长度，这个list已经被改变了，截断了只剩下截取的元素。 OK 127.0.0.1:6379> lrange mulist 0 -1
"hello2"
"hello3" #################################################### rpoplpush #移除列表的最后一个元素，将它移动到新的列表当中 127.0.0.1:6379> lrange mulist 0 -1
"hello2"
"hello3"
"hello4"
"hello5" 127.0.0.1:6379> rpoplpush mulist myotherlist #移除列表的最后一个元素，将它移动到新的列表当中 "hello5" 127.0.0.1:6379> lrange mulist 0 -1 #查看原来的列表
"hello2"
"hello3"
"hello4" 127.0.0.1:6379> lrange myotherlist 0 -1 #查看目标列表中，确实存在该值
"hello5" #################################################### lset 将列表中指定下标的值替换为另一个值，相当于更新操作 127.0.0.1:6379> exists lit #判断这个列表是否存在 (integer) 0 127.0.0.1:6379> lset list 0 item #如果不存在列表我们去更新就会报错 (error) ERR no such key 127.0.0.1:6379> lpush list value1 (integer) 1 127.0.0.1:6379> lrange list 0 0
"value1" 127.0.0.1:6379> lset list 0 item #如果存在，更新当前下标的值 OK 127.0.0.1:6379> lrange list 0 0
"item" 127.0.0.1:6379> lset list 1 other #如果不存在则会报错 (error) ERR index out of range #################################################### linsert #将某个具体的value值插入到列表中某个元素的前面或者后面

127.0.0.1:6379> lrange mulist 0 -1

"hello2"
"hello3"
"hello4" 127.0.0.1:6379> linsert mulist before hello3 zhangsan #将zhangsan值插入到mulist列表中hello3的前面 (integer) 4 127.0.0.1:6379> lrange mulist 0 -1
"hello2"
"zhangsan"
"hello3"
"hello4" 127.0.0.1:6379> linsert mulist after hello3 zhangsha #将zhangsha值插入到mulist列表中hello3的后面 (integer) 5 127.0.0.1:6379> lrange mulist 0 -1
"hello2"
"zhangsan"
"hello3"
"zhangsha"
"hello4"

小结

它实际上是一个链表，before node after ，left , right 都可以插入值如果key不存在，创建新的链表如果key存在，新增内容如果移除了所有值，空链表，也代表不存在。在两边插入或者改动值，效率最高，中间元素相对来说效率会低一点可以做消息排队消息队列( Lpush Rpop) ，栈（Lpush Lpop）

Set(集合) set中的值是不能重复的

#################################################### 127.0.0.1:6379> sadd myset hello #set集合中添加元素 (integer) 1 127.0.0.1:6379> sadd myset zhangsan (integer) 1 127.0.0.1:6379> sadd myset lisi (integer) 1 127.0.0.1:6379> smembers myset #查看指定set的所有值

"hello"
"lisi"
"zhangsan" 127.0.0.1:6379> sismember myset lisi #判断某一个值是不是在set集合中 (integer) 1 127.0.0.1:6379> sismember myset world (integer) 0

#################################################### scard 127.0.0.1:6379> scard myset #获取set集合中内容的元素个数！ (integer) 3 127.0.0.1:6379> sadd myset hello (integer) 0 #################################################### rem 127.0.0.1:6379> srem myset hello #移除set集合中的指定元素 (integer) 1 127.0.0.1:6379> SMEMBERS myset

"lisi"
"zhangsan" 127.0.0.1:6379> scard myset (integer) 2

#################################################### set 无序不重复集合。比如：随机抽奖 127.0.0.1:6379> srandmember myset #随机抽选出一个元素 "lisi" 127.0.0.1:6379> srandmember myset "zhangsan" 127.0.0.1:6379> srandmember myset "zhangsan" 127.0.0.1:6379> srandmember myset "lisi" 127.0.0.1:6379> SMEMBERS myset

"lisi"
"zhangsan" 127.0.0.1:6379> srandmember myset 2 #随机抽选出两个元素
"lisi"
"zhangsan"

#################################################### 删除定的key，删除随机的key

127.0.0.1:6379> SMEMBERS myset

"111"
"blue"
"lisi"
"zhangsan" 127.0.0.1:6379> spop myset #随机删除一些set集合中的元素 "lisi" 127.0.0.1:6379> spop myset "111" 127.0.0.1:6379> SMEMBERS myset
"blue"
"zhangsan"

#################################################### smove 将一个指定的值，移动到另外一个set集合 127.0.0.1:6379> sadd myset world zhangsan (integer) 2 127.0.0.1:6379> SMEMBERS myset

"hello"
"world"
"hello2"
"hello3"
"zhangsan" 127.0.0.1:6379> smove myset myset2 zhangsan #将myset中的zhangsan移动到myset2集合中去 (integer) 1 127.0.0.1:6379> SMEMBERS myset
"world"
"hello2"
"hello3"
"hello" 127.0.0.1:6379> SMEMBERS myset2
"zhangsan"

#################################################### 微博，B站中的共同关注！(并集)

差集 sdiff
交集 sinter
并集 sunion 127.0.0.1:6379> sadd key1 a b c d (integer) 4 127.0.0.1:6379> sadd key2 c d e f (integer) 4 127.0.0.1:6379> SDIFF key1 key2 #差集

"b"
"a" 127.0.0.1:6379> SINTER key1 key2 #交集共同好友就可以这样实现
"d"
"c" 127.0.0.1:6379> SUNION key1 key2 #并集
"b"
"c"
"e"
"a"
"d"
"f"

Hash（哈希） Map集合， key-map，时候这个值是一个map集合。本质和string类型没有太大区别，还是一个简单的key-value！

#################################################### hset myhash field zhangsan 127.0.0.1:6379> hset myhash field1 zhangsan #set一个具体的 key-value (integer) 1 127.0.0.1:6379> hget myhash field1 #获取一个字段值 "zhangsan" 127.0.0.1:6379> hmset myhash field1 hello field2 world #设置多个key-value OK 127.0.0.1:6379> hmget myhash field1 field2 #获取多个字段值

"hello"
"world" 127.0.0.1:6379> hgetall myhash #获取全部的数据
"field1"
"hello"
"field2"
"world" 127.0.0.1:6379> hdel myhash field1 #删除hash指定key字段！对应的value值也就消失了 (integer) 1 127.0.0.1:6379> HGETALL myhash
"field2"
"world" #################################################### hlen #获取hash表的字段数量 127.0.0.1:6379> hmset myhash field hello field3 wufeng field4 lis OK 127.0.0.1:6379> HGETALL myhash
"field2"
"world"
"field"
"hello"
"field3"
"wufeng"
"field4"
"lis" 127.0.0.1:6379> hget myhash field "hello" 127.0.0.1:6379> hlen myhash #获取hash表的字段数量 (integer) 4

#################################################### 127.0.0.1:6379> HEXISTS myhash field #判断hash中指定字段是否存在 (integer) 1 127.0.0.1:6379> HEXISTS myhash field6 (integer) 0

#################################################### #只获得所有filed hkeys #只获得所有value hvals 127.0.0.1:6379> HKEYS myhash #获得所有filed

"field2"
"field"
"field3"
"field4" 127.0.0.1:6379> HVALS myhash #获得所有value
"world"
"hello"
"wufeng"
"lis"

#################################################### hincrby #加1 hdecrby #减1 127.0.0.1:6379> hset myhash field6 5 #指定增量为5 (integer) 1 127.0.0.1:6379> HINCRBY myhash field6 1 #数值加1 (integer) 6 127.0.0.1:6379> HINCRBY myhash field6 -2 #数值减2 (integer) 3 127.0.0.1:6379> HSETNX myhash field7 hello #如果不存在则可以设置 (integer) 1 127.0.0.1:6379> HSETNX myhash field6 hello #如果存在则可以设置 (integer) 0 hash变更的数据 user name age ,尤其是用户信息之类的，经常变动的信息。 hash更适合于对象的存储，String更加适合字符串的存储。

127.0.0.1:6379> hmset myhash user:1:name zhangsan user:1:age 30 #设置user:{id}:{field} OK 127.0.0.1:6379> hmget myhash user:1:name user:1:age

"zhangsan"
"30" 127.0.0.1:6379> HGETALL myhash
"field7"
"hello"
"user:1:name"
"zhangsan"
"user:1:age"
"30" Zset(有序集合) 在set的基础上，增加一个值，set k1 v1 zset k1 score1 v1

#################################################### 127.0.0.1:6379> zadd myset 1 one #添加一个值 (integer) 1 127.0.0.1:6379> zadd myset 2 two 3 three #添加多个值 (integer) 2 127.0.0.1:6379> zrange myset 0 -1

"one"
"two"
"three"

#################################################### 排序如何实现

127.0.0.1:6379> zadd salary 2500 xiaohong #添加三个用户薪水，名字 (integer) 1 127.0.0.1:6379> zadd salary 5000 zhangsan (integer) 1 127.0.0.1:6379> zadd salary 1000 lisi (integer) 1 127.0.0.1:6379> ZRANGEBYSCORE salary -inf +inf #显示全部用户，按薪水从小到大排名 -inf：表示负无穷

"lisi"
"xiaohong"
"zhangsan" 127.0.0.1:6379> zrevrange salary 0 -1 withscores # 从大到小进行排序
"zhangsan"
"5000"
"xiaohong"
"2500" 127.0.0.1:6379> ZRANGEBYSCORE salary -inf +inf withscores #查找所有的数据，withscores：带有的薪水信息
"lisi"
"1000"
"xiaohong"
"2500"
"zhangsan"
"5000" 127.0.0.1:6379> ZRANGEBYSCORE salary -inf 2500 withscores #显示工资小于2500员工的升序排列
"lisi"
"1000"
"xiaohong"
"2500"

#################################################### 移除：zrem 127.0.0.1:6379> zrange salary 0 -1

"lisi"
"xiaohong"
"zhangsan" 127.0.0.1:6379> zrem salary lisi #移除有序集合中的指定元素 (integer) 1 127.0.0.1:6379> zrange salary 0 -1
"xiaohong"
"zhangsan" 127.0.0.1:6379> zcard salary #获取集合中的个数 (integer) 2

#################################################### 127.0.0.1:6379> zrange myset 0 -1

"one"
"two"
"three" 127.0.0.1:6379> zcount myset 0 2 #获取指定区间的成员数量 (integer) 2 127.0.0.1:6379> zcount myset 0 5 (integer) 3

案例思路：set 排序，存储班级成绩表，工资表排序

普通消息， 1.重要消息 2.带权重进行判断

排行榜应用实现。

四、三种特殊数据类型 geospatial地理位置详解使用场景：朋友的定位，附近的人，打车距离计算

这个功能可以推算地理位置信息，两地之间的距离，方圆几里的人。

可以查询一些测试数据：http://www.jsons.cn/lngcodeinfo/0706D99C19A781A3

官方文档：https://www.redis.net.cn/order/3685.html

只有六个命令：

GEOADD GEODIST GEOHASH GEOPOS GEORADIUS GEORADIUSBYMEMBER geoadd

#geoadd 添加地理位置

规则：两极无法直接添加，我们一般会下载城市数据，直接通过java程序一次性导入

#参数 key 值(纬度、经度、名称) #有效的经度从-180度到180度。 #有效的纬度从-85.05112878度到85.05112878度。 #当坐标位置超出上述指定范围时，该命令将会返回一个错误。 127.0.0.1:6379> geoadd china:city 116.40 39.90 beijing (integer) 1 127.0.0.1:6379> geoadd china:city 121.47 31.23 shanghai (integer) 1 127.0.0.1:6379> geoadd china:city 106.50 29.53 chongqing (integer) 1 127.0.0.1:6379> geoadd china:city 114.08 22.54 shenzhen 116.85 38.31 cangzhou (integer) 2 127.0.0.1:6379> geoadd china:city 120.15 30.28 hangzhou 125.14 42.92 xian (integer) 2

geopos

获得当前定位：一定是一个坐标值。 127.0.0.1:6379> geopos china:city beijing #获取指定的城市的经度和纬度

1. "116.39999896287918091"
2. "39.90000009167092543" 127.0.0.1:6379> geopos china:city beijing cangzhou
1. "116.39999896287918091"
2. "39.90000009167092543"
1. "116.84999853372573853"
2. "38.30999992507150864" geodist

两人之间的距离

单位：

m 表示单位为米 km 表示单位为千米 mi 表示单位为英里 ft 表示单位为英尺 127.0.0.1:6379> geodist china:city beijing shanghai km #查看北京到上海的直线距离 "1067.3788" 127.0.0.1:6379> GEODIST china:city beijing chongqing km #查看北京到重庆的直线距离 "1464.0708" georadius 以给定的经纬度为中心，找出某一半径内的元素

我附近的人？ (获得所有附近的人的地址，定位！) 通过半径来查询

获得指定数量的人为200个 count 200

所有数据应该都录入 china:city ，才会让结果更加清晰

127.0.0.1:6379> GEORADIUS china:city 110 30 500 km #以110 30这个经度纬度为中心，寻找方圆1000km内的城市

"chongqing" 127.0.0.1:6379> GEORADIUS china:city 110 30 1000 km
"chongqing"
"shenzhen"
"hangzhou" 127.0.0.1:6379> GEORADIUS china:city 110 30 1000 km withdist #显示到中间距离的位置
1. "chongqing"
2. "341.9374"
1. "shenzhen"
2. "923.9364"
1. "hangzhou"
2. "976.4868" 127.0.0.1:6379> GEORADIUS china:city 110 30 1000 km withdist withcoord #显示他人的定位信息
1. "chongqing"
2. "341.9374"
3. 1. "106.49999767541885376"
  2. "29.52999957900659211"
1. "shenzhen"
2. "923.9364"
3. 1. "114.08000081777572632"
  2. "22.53999903789756587"
1. "hangzhou"
2. "976.4868"
3. 1. "120.15000075101852417"
  2. "30.2800007575645509" 127.0.0.1:6379> GEORADIUS china:city 110 30 1000 km withdist withcoord count 1
1. "chongqing"
2. "341.9374"
3. 1. "106.49999767541885376"
  2. "29.52999957900659211" 127.0.0.1:6379> GEORADIUS china:city 110 30 1000 km withdist withcoord count 2 #筛选出指定的结果！
1. "chongqing"
2. "341.9374"
3. 1. "106.49999767541885376"
  2. "29.52999957900659211"
1. "shenzhen"
2. "923.9364"
3. 1. "114.08000081777572632"
  2. "22.53999903789756587" 127.0.0.1:6379>

georadiusbymember

#找出位于指定元素周围的其他元素 127.0.0.1:6379> GEORADIUSBYMEMBER china:city beijing 1000 km

"cangzhou"
"beijing"
"xian" 127.0.0.1:6379> GEORADIUSBYMEMBER china:city shanghai 500km (error) ERR wrong number of arguments for 'georadiusbymember' command 127.0.0.1:6379> GEORADIUSBYMEMBER china:city shanghai 500 km
"hangzhou"
"shanghai"

geohash 返回一个或多个位置元素的geohash表示（很少使用到）

该命令将返回11个字符的geohash字符串

#将二维的经纬度转换为一维的字符串，如果两个字符串越近，那么则距离越近。 127.0.0.1:6379> GEOHASH china:city beijing chongqing

"wx4fbxxfke0"
"wm5xzrybty0" geo 底层的实现原理其实就是Zset 我们可以使用Zset命令来操作geo

127.0.0.1:6379> ZRANGE china:city 0 -1 #查看地图中全部元素

"chongqing"
"shenzhen"
"hangzhou"
"shanghai"
"cangzhou"
"beijing"
"xian" 127.0.0.1:6379> zrem china:city beijing xian #移除指定元素 (integer) 2 127.0.0.1:6379> ZRANGE china:city 0 -1
"chongqing"
"shenzhen"
"hangzhou"
"shanghai"
"cangzhou"

Hyperloglog基数统计什么是基数?

image-20220323211451148

简介

Redis 2.8.9版本就更新了hyperloglog 数据结构

Redis hyperloglog ：基数统计的算法

优点：占用的内存是固定的，2^64个不同的元素的技术，只需要花费12kb内存，如果要从内存角度来比较的话 hyperloglog首选！

网页的UV(一个人访问一个网站多次,但还是算作一个个)

传统的方式,set保存用户的id,然后就可以统计set中的元素数量作为标准判断.

这个方式如果保存大量的用户id,就会比较麻烦,我们的目的是为了计数,而不是保存用户id.

0.81%错误率,统计UV任务,可以忽略不计.

127.0.0.1:6379> PFADD mykey a b c d e f g h k #创建第一组元素 mykey (integer) 1 127.0.0.1:6379> PFCOUNT mykey #统计 mykey 元素的基数数量 (integer) 9 127.0.0.1:6379> PFADD mykey2 q w e r t y u i o #创建第二组元素 mykey2 (integer) 1 127.0.0.1:6379> PFCOUNT mykey2 (integer) 9 127.0.0.1:6379> PFMERGE mykey3 mykey mykey2 # 合并两组 mykey mykey2 => mykey3 OK 127.0.0.1:6379> PFCOUNT mykey3 #看并集的数量相同的不计 (integer) 16 如果允许容错，那么一个可用使用 hyperloglog

如果不允许容错，就使用set或者自己的数据类型即可

Bitmaps位图场景详解位存储

统计用户信息,活跃,不活跃!登录,未登录!打卡,未打卡! 两个的状态,都可以使用bitmaps

Bitmaps位图,数据结构!都是操作二进制位来进行记录,就只有0和1两个状态.

365天 = 365bit 1字节 = 8bit 46个字节左右!

使用bitmap来记录周一到周日的打卡

127.0.0.1:6379> setbit sign 0 1 #周一到周日打卡情况，1代表打卡 0代表未打卡 (integer) 0 127.0.0.1:6379> setbit sign 1 1 (integer) 0 127.0.0.1:6379> setbit sign 3 1 (integer) 0 127.0.0.1:6379> setbit sign 4 0 (integer) 0 127.0.0.1:6379> setbit sign 5 0 (integer) 0 127.0.0.1:6379> setbit sign 6 1 (integer) 0

127.0.0.1:6379> GETBIT sign 5 #查看某一天是否打卡 (integer) 0 127.0.0.1:6379> GETBIT sign 6 (integer) 1

127.0.0.1:6379> bitcount sign #统计这周的打卡记录 (integer) 4 五、事务 Redis事务本质：一组命令的集合。一个事务中的所有命令都会被序列化，在事务执行过程中，会按照顺序执行！

一次性、顺序性、排他性执行一系列的命令

------ 队列 set set set 执行 --------- Redis事务没有隔离级别的概念！

所有的命令在事务中，并没有直接被执行，只有发起执行命令的时候才会执行

redis单条命令是保证原子性的，但是事务不保证原子性

Redis的事务：

开启事务（multi）命令入队（........）执行事务（exec）正常执行事务

127.0.0.1:6379> multi #开启事务 OK 127.0.0.1:6379(TX)> set k1 v1 #命令入队 QUEUED 127.0.0.1:6379(TX)> set k2 v2 QUEUED 127.0.0.1:6379(TX)> get k2 QUEUED 127.0.0.1:6379(TX)> set k3 v3 QUEUED 127.0.0.1:6379(TX)> exec #执行事务

OK
OK
"v2"
OK 放弃事务 ( discard )

127.0.0.1:6379> multi #开启事务 OK 127.0.0.1:6379(TX)> set k1 v1 QUEUED 127.0.0.1:6379(TX)> set k2 v2 QUEUED 127.0.0.1:6379(TX)> DISCARD #取消事务 OK 127.0.0.1:6379> get k2 #事务队列中命令都不会被执行 (nil) 127.0.0.1:6379> get k1 (nil)

编译型异常(代码有问题，及命令有错) ，事务中所有的命令都不会被执行

127.0.0.1:6379> multi OK 127.0.0.1:6379(TX)> set k1 v1 QUEUED 127.0.0.1:6379(TX)> set k2 v2 QUEUED 127.0.0.1:6379(TX)> getset k2 #错误的命令 (error) ERR wrong number of arguments for 'getset' command 127.0.0.1:6379(TX)> set k3 v3 QUEUED 127.0.0.1:6379(TX)> exec #执行事务报错 (error) EXECABORT Transaction discarded because of previous errors. 127.0.0.1:6379> get k3 #所有的命令都不执行 (nil) 127.0.0.1:6379> get k1 (nil) 运行时异常(1/0)，如果事务队列中存在语法性，那么执行命令的时候，其他命令是可以正常执行的，错误命令抛出异常

127.0.0.1:6379> set k1 v1 OK 127.0.0.1:6379> multi OK 127.0.0.1:6379(TX)> set k2 v2 QUEUED 127.0.0.1:6379(TX)> set k3 v3 QUEUED 127.0.0.1:6379(TX)> incr k1 #执行的时候会失败 QUEUED 127.0.0.1:6379(TX)> get k2 QUEUED 127.0.0.1:6379(TX)> exec

OK
OK
(error) ERR value is not an integer or out of range #虽然第一条命令报错了，但是依旧正常执行成功了。
"v2" 127.0.0.1:6379> get k3 "v3"

悲观锁、乐观锁监控 watch （面试常问）

悲观锁：

很悲观，认为什么时候都会出现问题，无论做什么都会加锁乐观锁：

很乐观，认为什么时候都不会出现问题，所以不会上锁！更新数据的时候去判断一下，在此期间是否有人修改过这个数据获取version 更新的时候比较version redis监视测试

正常执行成功

127.0.0.1:6379> set money 100 # 设置余额:100 OK 127.0.0.1:6379> set out 0 # 支出使用:0 OK 127.0.0.1:6379> watch money #监视money 对象 OK 127.0.0.1:6379> multi OK 127.0.0.1:6379(TX)> DECRBY money 20 QUEUED 127.0.0.1:6379(TX)> INCRBY out 20 QUEUED 127.0.0.1:6379(TX)> exec #事务正常结束，数据期间没有发生变动，这个时候就正常执行成功

(integer) 80
(integer) 20

测试多线程修改值，使用watch 可以当做redis的乐观锁操作

#第一个线程 127.0.0.1:6379> watch money #监控 money OK 127.0.0.1:6379> multi OK 127.0.0.1:6379(TX)> DECRBY money 20 QUEUED 127.0.0.1:6379(TX)> INCRBY out 20 QUEUED 127.0.0.1:6379(TX)> exec #执行之前，另外一个线程，修改了我们的值，这个时候就会导致食物执行失败。 (nil)

#第二个线程 127.0.0.1:6379> get money "80" 127.0.0.1:6379> INCRby money 100 (integer) 180 127.0.0.1:6379> get money "180"

? unwatch进行解锁。

如果修改失败，获取最新的值就好

image-20220323223346903

注意：每次提交执行exec后都会自动释放锁，不管是否成功

六、Jedis 使用Java来操作Redis，Jedis是Redis官方推荐使用的Java连接redis的客户端的开发工具，使用java操作redis中间件。

测试

1.导入对应的依赖

<dependencies>  <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>3.2.0</version> </dependency>  <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.48</version> </dependency>

</dependencies>

2.编码测试：

连接数据库操作命令断开连接 package com.jihu; import redis.clients.jedis.Jedis; public class TestPing { public static void main(String[] args) { //1. new jedis 对象即可 Jedis jedis = new Jedis("192.168.56.130",6379); //自己虚拟机的ip地址 jedis.auth("123456");

    // jedis 所有的命令就是我们之前学习的所有指令
    System.out.println(jedis.ping());

}

}

输出结果:

image-20220324095107143

常用的API String 、list、set 、hash、Zset等所有的api命令，就是我们对应的上面学习的指令，一个都没有变化！

判断keys * 以及一些基本方法

package com.jihu.base;

import redis.clients.jedis.Jedis;

import java.util.Set;

public class TestKey { public static void main(String[] args) { Jedis jedis = new Jedis("192.168.56.130",6379); jedis.auth("123456");

    System.out.println("清空数据："+jedis.flushDB());
    System.out.println("判断某个键是否存在："+jedis.exists("username"));
    System.out.println("新增<'username','kuangshen'>的键值对："+jedis.set("username", "kuangshen"));
    System.out.println("新增<'password','password'>的键值对："+jedis.set("password", "password"));
    System.out.print("系统中所有的键如下：");
    Set<String> keys = jedis.keys("*");
    System.out.println(keys);
    System.out.println("删除键password:"+jedis.del("password"));
    System.out.println("判断键password是否存在："+jedis.exists("password"));
    System.out.println("查看键username所存储的值的类型："+jedis.type("username"));
    System.out.println("随机返回key空间的一个："+jedis.randomKey());
    System.out.println("重命名key："+jedis.rename("username","name"));
    System.out.println("取出改后的name："+jedis.get("name"));
    System.out.println("按索引查询："+jedis.select(0));
    System.out.println("删除当前选择数据库中的所有key："+jedis.flushDB());
    System.out.println("返回当前数据库中key的数目："+jedis.dbSize());
    System.out.println("删除所有数据库中的所有key："+jedis.flushAll());
}

}

对String操作的命令

package com.jihu.base; import redis.clients.jedis.Jedis; import java.util.concurrent.TimeUnit;

public class TestString { public static void main(String[] args) { Jedis jedis = new Jedis("192.168.56.130",6379); jedis.auth("123456");

    jedis.flushDB();
    System.out.println("===========增加数据===========");
    System.out.println(jedis.set("key1","value1"));
    System.out.println(jedis.set("key2","value2"));
    System.out.println(jedis.set("key3", "value3"));
    System.out.println("删除键key2:"+jedis.del("key2"));
    System.out.println("获取键key2:"+jedis.get("key2"));
    System.out.println("修改key1:"+jedis.set("key1", "value1Changed"));
    System.out.println("获取key1的值："+jedis.get("key1"));
    System.out.println("在key3后面加入值："+jedis.append("key3", "End"));
    System.out.println("key3的值："+jedis.get("key3"));
    System.out.println("增加多个键值对："+jedis.mset("key01","value01","key02","value02","key03","value03"));
    System.out.println("获取多个键值对："+jedis.mget("key01","key02","key03"));
    System.out.println("获取多个键值对："+jedis.mget("key01","key02","key03","key04"));
    System.out.println("删除多个键值对："+jedis.del("key01","key02"));
    System.out.println("获取多个键值对："+jedis.mget("key01","key02","key03"));

    jedis.flushDB();
    System.out.println("===========新增键值对防止覆盖原先值==============");
    System.out.println(jedis.setnx("key1", "value1"));
    System.out.println(jedis.setnx("key2", "value2"));
    System.out.println(jedis.setnx("key2", "value2-new"));
    System.out.println(jedis.get("key1"));
    System.out.println(jedis.get("key2"));

    System.out.println("===========新增键值对并设置有效时间=============");
    System.out.println(jedis.setex("key3", 2, "value3"));
    System.out.println(jedis.get("key3"));
    try {
        TimeUnit.SECONDS.sleep(3);
    } catch (InterruptedException e) {
        e.printStackTrace();
    }
    System.out.println(jedis.get("key3"));

    System.out.println("===========获取原值，更新为新值==========");
    System.out.println(jedis.getSet("key2", "key2GetSet"));
    System.out.println(jedis.get("key2"));

    System.out.println("获得key2的值的字串："+jedis.getrange("key2", 2, 4));
}

}

对List操作的命令

package com.jihu.base; import redis.clients.jedis.Jedis; public class TestList { public static void main(String[] args) { Jedis jedis = new Jedis("192.168.56.130",6379); jedis.auth("123456"); jedis.flushDB(); System.out.println("===========添加一个list==========="); jedis.lpush("collections", "ArrayList", "Vector", "Stack", "HashMap", "WeakHashMap", "LinkedHashMap"); jedis.lpush("collections", "HashSet"); jedis.lpush("collections", "TreeSet"); jedis.lpush("collections", "TreeMap"); System.out.println("collections的内容："+jedis.lrange("collections", 0, -1));//-1代表倒数第一个元素，-2代表倒数第二个元素,end为-1表示查询全部 System.out.println("collections区间0-3的元素："+jedis.lrange("collections",0,3)); System.out.println("==============================="); // 删除列表指定的值，第二个参数为删除的个数（有重复时），后add进去的值先被删，类似于出栈 System.out.println("删除指定元素个数："+jedis.lrem("collections", 2, "HashMap")); System.out.println("collections的内容："+jedis.lrange("collections", 0, -1)); System.out.println("删除下表0-3区间之外的元素："+jedis.ltrim("collections", 0, 3)); System.out.println("collections的内容："+jedis.lrange("collections", 0, -1)); System.out.println("collections列表出栈（左端）："+jedis.lpop("collections")); System.out.println("collections的内容："+jedis.lrange("collections", 0, -1)); System.out.println("collections添加元素，从列表右端，与lpush相对应："+jedis.rpush("collections", "EnumMap")); System.out.println("collections的内容："+jedis.lrange("collections", 0, -1)); System.out.println("collections列表出栈（右端）："+jedis.rpop("collections")); System.out.println("collections的内容："+jedis.lrange("collections", 0, -1)); System.out.println("修改collections指定下标1的内容："+jedis.lset("collections", 1, "LinkedArrayList")); System.out.println("collections的内容："+jedis.lrange("collections", 0, -1)); System.out.println("==============================="); System.out.println("collections的长度："+jedis.llen("collections")); System.out.println("获取collections下标为2的元素："+jedis.lindex("collections", 2)); System.out.println("==============================="); jedis.lpush("sortedList", "3","6","2","0","7","4"); System.out.println("sortedList排序前："+jedis.lrange("sortedList", 0, -1)); System.out.println(jedis.sort("sortedList")); System.out.println("sortedList排序后："+jedis.lrange("sortedList", 0, -1)); } }

对set操作的命令

package com.jihu.base;

import redis.clients.jedis.Jedis;

public class TestSet { public static void main(String[] args) { Jedis jedis = new Jedis("192.168.56.130",6379); jedis.auth("123456"); jedis.flushDB(); System.out.println("============向集合中添加元素（不重复）============"); System.out.println(jedis.sadd("eleSet", "e1","e2","e4","e3","e0","e8","e7","e5")); System.out.println(jedis.sadd("eleSet", "e6")); System.out.println(jedis.sadd("eleSet", "e6")); System.out.println("eleSet的所有元素为："+jedis.smembers("eleSet")); System.out.println("删除一个元素e0："+jedis.srem("eleSet", "e0")); System.out.println("eleSet的所有元素为："+jedis.smembers("eleSet")); System.out.println("删除两个元素e7和e6："+jedis.srem("eleSet", "e7","e6")); System.out.println("eleSet的所有元素为："+jedis.smembers("eleSet")); System.out.println("随机的移除集合中的一个元素："+jedis.spop("eleSet")); System.out.println("随机的移除集合中的一个元素："+jedis.spop("eleSet")); System.out.println("eleSet的所有元素为："+jedis.smembers("eleSet")); System.out.println("eleSet中包含元素的个数："+jedis.scard("eleSet")); System.out.println("e3是否在eleSet中："+jedis.sismember("eleSet", "e3")); System.out.println("e1是否在eleSet中："+jedis.sismember("eleSet", "e1")); System.out.println("e1是否在eleSet中："+jedis.sismember("eleSet", "e5")); System.out.println("================================="); System.out.println(jedis.sadd("eleSet1", "e1","e2","e4","e3","e0","e8","e7","e5")); System.out.println(jedis.sadd("eleSet2", "e1","e2","e4","e3","e0","e8")); System.out.println("将eleSet1中删除e1并存入eleSet3中："+jedis.smove("eleSet1", "eleSet3", "e1"));//移到集合元素 System.out.println("将eleSet1中删除e2并存入eleSet3中："+jedis.smove("eleSet1", "eleSet3", "e2")); System.out.println("eleSet1中的元素："+jedis.smembers("eleSet1")); System.out.println("eleSet3中的元素："+jedis.smembers("eleSet3")); System.out.println("============集合运算================="); System.out.println("eleSet1中的元素："+jedis.smembers("eleSet1")); System.out.println("eleSet2中的元素："+jedis.smembers("eleSet2")); System.out.println("eleSet1和eleSet2的交集:"+jedis.sinter("eleSet1","eleSet2")); System.out.println("eleSet1和eleSet2的并集:"+jedis.sunion("eleSet1","eleSet2")); System.out.println("eleSet1和eleSet2的差集:"+jedis.sdiff("eleSet1","eleSet2"));//eleSet1中有，eleSet2中没有 jedis.sinterstore("eleSet4","eleSet1","eleSet2");//求交集并将交集保存到dstkey的集合 System.out.println("eleSet4中的元素："+jedis.smembers("eleSet4")); } }

对hash操作的命令

package com.jihu.base;

import redis.clients.jedis.Jedis;

import java.util.HashMap; import java.util.Map;

public class TestHash { public static void main(String[] args) { Jedis jedis = new Jedis("192.168.56.130",6379); jedis.auth("123456"); jedis.flushDB(); Map<String,String> map = new HashMap<String,String>(); map.put("key1","value1"); map.put("key2","value2"); map.put("key3","value3"); map.put("key4","value4"); //添加名称为hash（key）的hash元素 jedis.hmset("hash",map); //向名称为hash的hash中添加key为key5，value为value5元素 jedis.hset("hash", "key5", "value5"); System.out.println("散列hash的所有键值对为："+jedis.hgetAll("hash"));//return Map<String,String> System.out.println("散列hash的所有键为："+jedis.hkeys("hash"));//return Set<String> System.out.println("散列hash的所有值为："+jedis.hvals("hash"));//return List<String> System.out.println("将key6保存的值加上一个整数，如果key6不存在则添加key6："+jedis.hincrBy("hash", "key6", 6)); System.out.println("散列hash的所有键值对为："+jedis.hgetAll("hash")); System.out.println("将key6保存的值加上一个整数，如果key6不存在则添加key6："+jedis.hincrBy("hash", "key6", 3)); System.out.println("散列hash的所有键值对为："+jedis.hgetAll("hash")); System.out.println("删除一个或者多个键值对："+jedis.hdel("hash", "key2")); System.out.println("散列hash的所有键值对为："+jedis.hgetAll("hash")); System.out.println("散列hash中键值对的个数："+jedis.hlen("hash")); System.out.println("判断hash中是否存在key2："+jedis.hexists("hash","key2")); System.out.println("判断hash中是否存在key3："+jedis.hexists("hash","key3")); System.out.println("获取hash中的值："+jedis.hmget("hash","key3")); System.out.println("获取hash中的值："+jedis.hmget("hash","key3","key4")); } }

对Zset操作的命令

事务

package com.jihu; import com.alibaba.fastjson.JSONObject; import redis.clients.jedis.Jedis; import redis.clients.jedis.Transaction;

public class TestTX { public static void main(String[] args) { Jedis jedis = new Jedis("192.168.56.130",6379); jedis.auth("123456"); jedis.flushDB();

    JSONObject jsonObject = new JSONObject();
    jsonObject.put("hello","world");
    jsonObject.put("name","jihu");
    //开启事务
    Transaction multi = jedis.multi();
    String result = jsonObject.toJSONString();
    //jedis.watch(result) //给result加乐观锁

    try {
        multi.set("user1",result);
        multi.set("user2",result);
        int i = 1/0; //代码抛出异常，事务执行失败

        multi.exec();  //执行事务
    } catch (Exception exception) {
        multi.discard();  //放弃事务
        exception.printStackTrace();
    }finally {
        System.out.println(jedis.get("user1"));
        System.out.println(jedis.get("user2"));
        jedis.close(); //关闭连接
    }
}

}

七、SpringBoot整合 SpringBoot 操作数据：spring-data jpa jdbc mongodb redis！

SpringData 也是和 SpringBoot 齐名的项目！

说明：在 SpringBoot2.x 之后，原来使用的jedis 被替换为了 lettuce?

jedis : 采用的直连，多个线程操作的话，是不安全的，如果想要避免不安全的，使用 jedis pool 连接池！更像 BIO 模式

lettuce : 采用netty，实例可以再多个线程中进行共享，不存在线程不安全的情况！可以减少线程数据了，更像 NIO 模式

源码分析

@Bean // 我们可以自己定义一个redisTemplate来替换这个默认的！ @ConditionalOnMissingBean(name = "redisTemplate")

public RedisTemplate<Object, Object> redisTemplate(RedisConnectionFactory redisConnectionFactory) throws UnknownHostException { // 默认的 RedisTemplate 没有过多的设置，redis 对象都是需要序列化！ // 两个泛型都是 Object, Object 的类型，我们后使用需要强制转换 <String, Object> RedisTemplate<Object, Object> template = new RedisTemplate<>(); template.setConnectionFactory(redisConnectionFactory); return template; }

@Bean @ConditionalOnMissingBean // 由于 String 是redis中最常使用的类型，所以说单独提出来了一个bean！ public StringRedisTemplate stringRedisTemplate(RedisConnectionFactory redisConnectionFactory) throws UnknownHostException { StringRedisTemplate template = new StringRedisTemplate(); template.setConnectionFactory(redisConnectionFactory); return template; } 整合测试

1.导入依赖

<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> 2.配置连接

#springboot所有的配置类都有一个自动配置类：RedisAutoConfiguration

（RedisAutoConfiguration它在RedisAutoConfiguration/META-INF/spring.factories文件中）

#自动配置类都会绑定一个 properties配置文件 RedisProperties

#配置Redis spring.redis.host=192.168.56.130 spring.redis.port=6379 spring.redis.password=123456 3.测试

package com.jihu;

import org.junit.jupiter.api.Test; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.boot.test.context.SpringBootTest; import org.springframework.data.redis.connection.RedisConnection; import org.springframework.data.redis.core.RedisTemplate;

@SpringBootTest class Redis02SpringbootApplicationTests {

@Autowired
private RedisTemplate redisTemplate;

@Test
void contextLoads() {

	//redisTemplate  操作不同的数据类型，api和我们的指令是一样的
	//redisTemplate.opsForValue()  表示操作字符串 类似String
	//redisTemplate.opsForList()  表示操作List ,类似list
	//等等
	redisTemplate.opsForList();

	//除了基本的操作，我们常用的方法都可以直接通过redisTemplate操作，比如事务和基本的CRUD

	//获取redis的连接对象
	//RedisConnection connection = redisTemplate.getConnectionFactory().getConnection();
	//connection.flushDb();
	//connection.flushAll();

	redisTemplate.opsForValue().set("mykey","jihu");
	System.out.println(redisTemplate.opsForValue().get("mykey"));
}

}

4.测试结果

此时我们回到Redis查看数据时候，惊奇发现全是乱码，可是程序中可以正常输出。这时候就关系到存储对象的序列化问题，在网络中传输的对象也是一样需要序列化，否者就全是乱码。

image-20220324111546417

RedisTemplate内部的序列化配置是这样的

image-20220324112055460

默认的序列化器是采用JDK序列化器

image-20220324112123665

对呀对象的保存

image-20220324113730650

如果不序列化这样会报错

image-20220324113916994

这里序列化之后就好了

image-20220324113958570

1.自定义RedisTemplate序列化配置我们来编写一个自己的 RedisTemplete

import com.fasterxml.jackson.annotation.JsonAutoDetect; import com.fasterxml.jackson.annotation.PropertyAccessor; import com.fasterxml.jackson.databind.ObjectMapper; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.data.redis.connection.RedisConnectionFactory; import org.springframework.data.redis.core.RedisTemplate; import org.springframework.data.redis.serializer.Jackson2JsonRedisSerializer; import org.springframework.data.redis.serializer.StringRedisSerializer;

@Configuration public class RedisConfig { // 这是我给大家写好的一个固定模板，大家在企业中，拿去就可以直接使用！ // 自己定义了一个 RedisTemplate @Bean @SuppressWarnings("all") public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory factory) { // 我们为了自己开发方便，一般直接使用 <String, Object> RedisTemplate<String, Object> template = new RedisTemplate<String, Object>(); template.setConnectionFactory(factory);

// Json序列化配置
Jackson2JsonRedisSerializer jackson2JsonRedisSerializer = new
Jackson2JsonRedisSerializer(Object.class);
ObjectMapper om = new ObjectMapper();
om.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
om.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);
jackson2JsonRedisSerializer.setObjectMapper(om);
// String 的序列化
StringRedisSerializer stringRedisSerializer = new StringRedisSerializer();

// key采用String的序列化方式
template.setKeySerializer(stringRedisSerializer);
// hash的key也采用String的序列化方式
template.setHashKeySerializer(stringRedisSerializer);
// value序列化方式采用jackson
template.setValueSerializer(jackson2JsonRedisSerializer);
// hash的value序列化方式采用jackson
template.setHashValueSerializer(jackson2JsonRedisSerializer);
template.afterPropertiesSet();

return template;

} }

再查看就不是乱码了

image-20220324115456183

2.RedisUtil配置(CRUD操作string，map,list,set) package com.jihu.config.utils;

import org.springframework.beans.factory.annotation.Autowired; import org.springframework.data.redis.core.RedisTemplate; import org.springframework.stereotype.Component; import org.springframework.util.CollectionUtils;

import java.util.Collection; import java.util.List; import java.util.Map; import java.util.Set; import java.util.concurrent.TimeUnit;

//在我们真实的开发中，或者你们的公司，一般都可以看到一个公司自己封装的RedisUtil @Component public final class RedisUtil {

@Autowired
private RedisTemplate<String, Object> redisTemplate;

// =============================common============================
/**
 * 指定缓存失效时间
 * @param key  键
 * @param time 时间(秒)
 */
public boolean expire(String key, long time) {
    try {
        if (time > 0) {
            redisTemplate.expire(key, time, TimeUnit.SECONDS);
        }
        return true;
    } catch (Exception e) {
        e.printStackTrace();
        return false;
    }
}

/**
 * 根据key 获取过期时间
 * @param key 键 不能为null
 * @return 时间(秒) 返回0代表为永久有效
 */
public long getExpire(String key) {
    return redisTemplate.getExpire(key, TimeUnit.SECONDS);
}

/**
 * 判断key是否存在
 * @param key 键
 * @return true 存在 false不存在
 */
public boolean hasKey(String key) {
    try {
        return redisTemplate.hasKey(key);
    } catch (Exception e) {
        e.printStackTrace();
        return false;
    }
}

/**
 * 删除缓存
 * @param key 可以传一个值 或多个
 */
@SuppressWarnings("unchecked")
public void del(String... key) {
    if (key != null && key.length > 0) {
        if (key.length == 1) {
            redisTemplate.delete(key[0]);
        } else {
            redisTemplate.delete((Collection<String>) CollectionUtils.arrayToList(key));
        }
    }
}

// ============================String=============================

/**
 * 普通缓存获取
 * @param key 键
 * @return 值
 */
public Object get(String key) {
    return key == null ? null : redisTemplate.opsForValue().get(key);
}

/**
 * 普通缓存放入
 * @param key   键
 * @param value 值
 * @return true成功 false失败
 */

public boolean set(String key, Object value) {
    try {
        redisTemplate.opsForValue().set(key, value);
        return true;
    } catch (Exception e) {
        e.printStackTrace();
        return false;
    }
}

/**
 * 普通缓存放入并设置时间
 * @param key   键
 * @param value 值
 * @param time  时间(秒) time要大于0 如果time小于等于0 将设置无限期
 * @return true成功 false 失败
 */

public boolean set(String key, Object value, long time) {
    try {
        if (time > 0) {
            redisTemplate.opsForValue().set(key, value, time, TimeUnit.SECONDS);
        } else {
            set(key, value);
        }
        return true;
    } catch (Exception e) {
        e.printStackTrace();
        return false;
    }
}

/**
 * 递增
 * @param key   键
 * @param delta 要增加几(大于0)
 */
public long incr(String key, long delta) {
    if (delta < 0) {
        throw new RuntimeException("递增因子必须大于0");
    }
    return redisTemplate.opsForValue().increment(key, delta);
}

/**
 * 递减
 * @param key   键
 * @param delta 要减少几(小于0)
 */
public long decr(String key, long delta) {
    if (delta < 0) {
        throw new RuntimeException("递减因子必须大于0");
    }
    return redisTemplate.opsForValue().increment(key, -delta);
}

// ================================Map=================================

/**
 * HashGet
 * @param key  键 不能为null
 * @param item 项 不能为null
 */
public Object hget(String key, String item) {
    return redisTemplate.opsForHash().get(key, item);
}

/**
 * 获取hashKey对应的所有键值
 * @param key 键
 * @return 对应的多个键值
 */
public Map<Object, Object> hmget(String key) {
    return redisTemplate.opsForHash().entries(key);
}

/**
 * HashSet
 * @param key 键
 * @param map 对应多个键值
 */
public boolean hmset(String key, Map<String, Object> map) {
    try {
        redisTemplate.opsForHash().putAll(key, map);
        return true;
    } catch (Exception e) {
        e.printStackTrace();
        return false;
    }
}

/**
 * HashSet 并设置时间
 * @param key  键
 * @param map  对应多个键值
 * @param time 时间(秒)
 * @return true成功 false失败
 */
public boolean hmset(String key, Map<String, Object> map, long time) {
    try {
        redisTemplate.opsForHash().putAll(key, map);
        if (time > 0) {
            expire(key, time);
        }
        return true;
    } catch (Exception e) {
        e.printStackTrace();
        return false;
    }
}

/**
 * 向一张hash表中放入数据,如果不存在将创建
 *
 * @param key   键
 * @param item  项
 * @param value 值
 * @return true 成功 false失败
 */
public boolean hset(String key, String item, Object value) {
    try {
        redisTemplate.opsForHash().put(key, item, value);
        return true;
    } catch (Exception e) {
        e.printStackTrace();
        return false;
    }
}

/**
 * 向一张hash表中放入数据,如果不存在将创建
 *
 * @param key   键
 * @param item  项
 * @param value 值
 * @param time  时间(秒) 注意:如果已存在的hash表有时间,这里将会替换原有的时间
 * @return true 成功 false失败
 */
public boolean hset(String key, String item, Object value, long time) {
    try {
        redisTemplate.opsForHash().put(key, item, value);
        if (time > 0) {
            expire(key, time);
        }
        return true;
    } catch (Exception e) {
        e.printStackTrace();
        return false;
    }
}

/**
 * 删除hash表中的值
 *
 * @param key  键 不能为null
 * @param item 项 可以使多个 不能为null
 */
public void hdel(String key, Object... item) {
    redisTemplate.opsForHash().delete(key, item);
}

/**
 * 判断hash表中是否有该项的值
 *
 * @param key  键 不能为null
 * @param item 项 不能为null
 * @return true 存在 false不存在
 */
public boolean hHasKey(String key, String item) {
    return redisTemplate.opsForHash().hasKey(key, item);
}

/**
 * hash递增 如果不存在,就会创建一个 并把新增后的值返回
 *
 * @param key  键
 * @param item 项
 * @param by   要增加几(大于0)
 */
public double hincr(String key, String item, double by) {
    return redisTemplate.opsForHash().increment(key, item, by);
}

/**
 * hash递减
 *
 * @param key  键
 * @param item 项
 * @param by   要减少记(小于0)
 */
public double hdecr(String key, String item, double by) {
    return redisTemplate.opsForHash().increment(key, item, -by);
}

// ============================set=============================

/**
 * 根据key获取Set中的所有值
 * @param key 键
 */
public Set<Object> sGet(String key) {
    try {
        return redisTemplate.opsForSet().members(key);
    } catch (Exception e) {
        e.printStackTrace();
        return null;
    }
}

/**
 * 根据value从一个set中查询,是否存在
 *
 * @param key   键
 * @param value 值
 * @return true 存在 false不存在
 */
public boolean sHasKey(String key, Object value) {
    try {
        return redisTemplate.opsForSet().isMember(key, value);
    } catch (Exception e) {
        e.printStackTrace();
        return false;
    }
}

/**
 * 将数据放入set缓存
 *
 * @param key    键
 * @param values 值 可以是多个
 * @return 成功个数
 */
public long sSet(String key, Object... values) {
    try {
        return redisTemplate.opsForSet().add(key, values);
    } catch (Exception e) {
        e.printStackTrace();
        return 0;
    }
}

/**
 * 将set数据放入缓存
 *
 * @param key    键
 * @param time   时间(秒)
 * @param values 值 可以是多个
 * @return 成功个数
 */
public long sSetAndTime(String key, long time, Object... values) {
    try {
        Long count = redisTemplate.opsForSet().add(key, values);
        if (time > 0)
            expire(key, time);
        return count;
    } catch (Exception e) {
        e.printStackTrace();
        return 0;
    }
}

/**
 * 获取set缓存的长度
 *
 * @param key 键
 */
public long sGetSetSize(String key) {
    try {
        return redisTemplate.opsForSet().size(key);
    } catch (Exception e) {
        e.printStackTrace();
        return 0;
    }
}

/**
 * 移除值为value的
 *
 * @param key    键
 * @param values 值 可以是多个
 * @return 移除的个数
 */

public long setRemove(String key, Object... values) {
    try {
        Long count = redisTemplate.opsForSet().remove(key, values);
        return count;
    } catch (Exception e) {
        e.printStackTrace();
        return 0;
    }
}

// ===============================list=================================

/**
 * 获取list缓存的内容
 *
 * @param key   键
 * @param start 开始
 * @param end   结束 0 到 -1代表所有值
 */
public List<Object> lGet(String key, long start, long end) {
    try {
        return redisTemplate.opsForList().range(key, start, end);
    } catch (Exception e) {
        e.printStackTrace();
        return null;
    }
}

/**
 * 获取list缓存的长度
 *
 * @param key 键
 */
public long lGetListSize(String key) {
    try {
        return redisTemplate.opsForList().size(key);
    } catch (Exception e) {
        e.printStackTrace();
        return 0;
    }
}

/**
 * 通过索引 获取list中的值
 *
 * @param key   键
 * @param index 索引 index>=0时， 0 表头，1 第二个元素，依次类推；index<0时，-1，表尾，-2倒数第二个元素，依次类推
 */
public Object lGetIndex(String key, long index) {
    try {
        return redisTemplate.opsForList().index(key, index);
    } catch (Exception e) {
        e.printStackTrace();
        return null;
    }
}

/**
 * 将list放入缓存
 *
 * @param key   键
 * @param value 值
 */
public boolean lSet(String key, Object value) {
    try {
        redisTemplate.opsForList().rightPush(key, value);
        return true;
    } catch (Exception e) {
        e.printStackTrace();
        return false;
    }
}

/**
 * 将list放入缓存
 * @param key   键
 * @param value 值
 * @param time  时间(秒)
 */
public boolean lSet(String key, Object value, long time) {
    try {
        redisTemplate.opsForList().rightPush(key, value);
        if (time > 0)
            expire(key, time);
        return true;
    } catch (Exception e) {
        e.printStackTrace();
        return false;
    }

}

/**
 * 将list放入缓存
 *
 * @param key   键
 * @param value 值
 * @return
 */
public boolean lSet(String key, List<Object> value) {
    try {
        redisTemplate.opsForList().rightPushAll(key, value);
        return true;
    } catch (Exception e) {
        e.printStackTrace();
        return false;
    }

}

/**
 * 将list放入缓存
 *
 * @param key   键
 * @param value 值
 * @param time  时间(秒)
 * @return
 */
public boolean lSet(String key, List<Object> value, long time) {
    try {
        redisTemplate.opsForList().rightPushAll(key, value);
        if (time > 0)
            expire(key, time);
        return true;
    } catch (Exception e) {
        e.printStackTrace();
        return false;
    }
}

/**
 * 根据索引修改list中的某条数据
 *
 * @param key   键
 * @param index 索引
 * @param value 值
 * @return
 */

public boolean lUpdateIndex(String key, long index, Object value) {
    try {
        redisTemplate.opsForList().set(key, index, value);
        return true;
    } catch (Exception e) {
        e.printStackTrace();
        return false;
    }
}

/**
 * 移除N个值为value
 *
 * @param key   键
 * @param count 移除多少个
 * @param value 值
 * @return 移除的个数
 */

public long lRemove(String key, long count, Object value) {
    try {
        Long remove = redisTemplate.opsForList().remove(key, count, value);
        return remove;
    } catch (Exception e) {
        e.printStackTrace();
        return 0;
    }

}

}

八、Redis.conf详解 1.容量单位不区分大小写，G和GB有区别 image-20220324131409206

2.可以使用 include 组合多个配置文件 image-20220324131928244

3.网络配置 image-20220324132647289

protected-mode no #保护模式 port 6379 #端口设置

4.通用配置(GENERAL) daemonize yes #以守护进程的方式运行，默认是no ，我们需要自己开启为yes

pidfile /var/run/redis_6379.pid #如果以后台的方式运行，我们就需要指定一个pid文件

Specify the server verbosity level.

This can be one of:

debug (a lot of information, useful for development/testing)

verbose (many rarely useful info, but not a mess like the debug level)

notice (moderately verbose, what you want in production probably)

warning (only very important / critical messages are logged)

loglevel notice #日志级别 logfile "" #日志的文件位置名 databases 16 #数据库的数量，默认是16个数据库 always-show-logo no #是否总是显示log

5.快照(SNAPSHOTTING) rdb配置持久化，在规定的时间内，执行了多少次操作，则会持久化到文件 .rdb .aof

redis是内存数据库，如果没有持久化，那么数据断电及失。

#在3600s内，如果至少有 1 key进行了修改，我们将进行持久化操作 save 3600 1 #在300s内，如果至少有 100 key进行了修改，我们将进行持久化操作 save 300 100 #在 60s 内，如果至少有 10000 key进行了修改，我们将进行持久化操作 save 60 10000 #我们之后学习持久化，会自己定义这个测试

stop-writes-on-bgsave-error yes #持久化如果出错，是否还需要继续工作。

rdbcompression yes #是否压缩rdb文件，需要消耗一些 cpu资源

rdbchecksum yes #保存rdb文件的视觉，进行错误的检查效验

dir ./ #rdb文件保存的目录

REPLICATION 主从复制，我们后面讲解主从复制的时候再进行详解

6.SECURITY 安全 1.可以再redis.conf配置文件里面修改密码 requirepass 123456 #可以在这里设置redis的密码，默认是没有密码的

2.可以用命令设置密码 127.0.0.1:6379> ping (error) NOAUTH Authentication required. #设置密码后发现所有的命令都没有权限了 127.0.0.1:6379> auth 123456 #使用密码进行登录 OK 127.0.0.1:6379> config get requirepass #查看redis的密码

"requirepass"
"123456" 127.0.0.1:6379> config set requirepass "1234567" #用命令设置redis的密码

7.CLIENTS 限制（客户端连接相关） maxclients 10000 #设置能连上redis的最大客户端的数量

maxmemory <bytes> # redis 配置最大的内存容量

maxmemory-policy noeviction # 内存到达上限之后的处理策略 6种策略 1、volatile-lru：只对设置了过期时间的key进行LRU（默认值） 2、allkeys-lru ：删除lru算法的key 3、volatile-random：随机删除即将过期key 4、allkeys-random：随机删除 5、volatile-ttl ：删除即将过期的 6、noeviction ：永不过期，返回错误

8.APPEND ONLY 模式 aof配置 appendonly no # 默认是不开启aof模式的，默认是使用rdb方式持久化的，在大部分所有的情况下，rdb完全够用！ appendfilename "appendonly.aof" # 持久化的文件的名字

appendfsync always # 每次修改都会 sync。消耗性能

appendfsync everysec # 每秒执行一次 sync，可能会丢失这1s的数据！

appendfsync no # 不执行 sync，这个时候操作系统自己同步数据，速度最快！

九、Redis持久化 ---RDB 面试和工作，持久化都是重点！

Redis 是内存数据库，如果不将内存中的数据库状态保存到磁盘，那么一旦服务器进程退出，服务器中的数据库状态也会消失。所以 Redis 提供了持久化功能！

持久化：在指定时间间隔内将内存数据存入磁盘中，断电也能恢复数据，使用快照文件读到内存中。

RDB：读写文件

RDB(Redis DataBase) 什么是RDB

用在主从复制中，rdb就是备用的，在从机上面。

image-20220324141702115

在指定的时间间隔内将内存中的数据集快照写入磁盘，也就是行话讲的Snapshot快照，它恢复时是将快照文件直接读到内存里。

Redis会单独创建（fork）一个子进程来进行持久化，会先将数据写入到一个临时文件中，待持久化过程都结束了，再用这个临时文件替换上次持久化好的文件。整个过程中，主进程是不进行任何IO操作的。这就确保了极高的性能。如果需要进行大规模数据的恢复，且对于数据恢复的完整性不是非常敏感，那 RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失。我们默认的就是 RDB，一般情况下不需要修改这个配置！

有时候在生产环境我们会将这个文件进行备份！

rdb保存的文件是dump.rdb 都是在我们的配置文件中快照中进行配置的！

image-20220324141756113

触发机制 save的规则满足的情况下，会自动触发rdb原则执行flushall命令，也会触发我们的rdb原则退出redis，也会自动产生rdb文件备份就自动生成一个 dump.rdb

image-20220324142016256

1.save 使用 save 命令，会立刻对当前内存中的数据进行持久化 ,但是会阻塞，也就是不接受其他操作了；

由于 save 命令是同步命令，会占用Redis的主进程。若Redis数据非常多时，save命令执行速度会非常慢，阻塞所有客户端的请求。

示意图：

image-20220324142131032

2.flushall命令 flushall 命令也会触发持久化；

触发持久化规则满足配置条件中的触发条件；

可以通过配置文件对 Redis 进行设置，让它在“ N 秒内数据集至少有 M 个改动”这一条件被满足时，自动进行数据集保存操作。

image-20220324142221719

image-20220324142228047

3.bgsave bgsave 是异步进行，进行持久化的时候，redis 还可以将继续响应客户端请求；

示意图：

image-20220324142257843

bgsave和save对比

命令 save bgsave IO类型同步异步阻塞？是是（阻塞发生在fock()，通常非常快）复杂度 O(n) O(n) 优点不会消耗额外的内存不阻塞客户端命令缺点阻塞客户端命令需要fock子进程，消耗内存如果恢复rdb文件！ 1、只需要将rdb文件放在我们redis启动目录就可以，redis启动的时候会自动检查dump.rdb 恢复其中的数据！ 2、查看需要存在的位置

127.0.0.1:6379> config get dir

"dir"
"/usr/local/bin" # 如果在这个目录下存在 dump.rdb 文件，启动就会自动恢复其中的数据优缺点优点：

适合大规模的数据恢复对数据的完整性要求不高缺点：

需要一定的时间间隔进行操作，如果redis意外宕机了，这个最后一次修改的数据就没有了。 fork进程的时候，会占用一定的内容空间。十、Redis持久化 ---AOF AOF（Append Only File）(记录文件)

将我们的所有命令都记录下来，history，恢复的时候就把这个文件全部在执行一遍！

AOF 是什么

image-20220324190240629

以日志的形式来记录每个写操作，将Redis执行过的所有指令记录下来（读操作不记录），只许追加文件但不可以改写文件，redis启动之初会读取该文件重新构建数据，换言之，redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作

Aof保存的是 appendonly.aof 文件

append

image-20220324190425627

默认是不开启的，我们需要手动进行配置！我们只需要将 appendonly 改为yes就开启了 aof！

重启，redis 就可以生效了！如果这个 aof 文件有错位，这时候 redis 是启动不起来的吗，我们需要修复这个aof文件

开启后会生成appendonly.aof文件

image-20220324193341798

在里面写入数据后

image-20220324193458390

看 appendonly.aof 里面会有写数据的记录

image-20220324193451343

如果这个aof文件有错误，这时候redis是启动不起来的，需要我们修复这个aof文件

redis给我们提供了一个工具 redis-check-aof --fix

aof配置文件出错，连接时会出现这个问题

image-20220324194107333

用redis-check-aof --fix 进行恢复

image-20220324194359390

如果文件正常，重启就可以直接恢复了

image-20220324194427748

重写规则说明

aof 默认就是文件的无限追加，文件会越来越大！

image-20220324195337310

如果 aof 文件大于 64m，太大了！ fork一个新的进程来将我们的文件进行重写！

优点和缺点！

appendonly no # 默认是不开启aof模式的，默认是使用rdb方式持久化的，在大部分所有的情况下， rdb完全够用！ appendfilename "appendonly.aof" # 持久化的文件的名字

appendfsync always # 每次修改都会 sync。消耗性能

appendfsync everysec # 每秒执行一次 sync，可能会丢失这1s的数据！

appendfsync no # 不执行 sync，这个时候操作系统自己同步数据，速度最快！

rewrite 重写，

优点： 1、每一次修改都同步，文件的完整会更加好！

2、每秒同步一次，可能会丢失一秒的数据

3、从不同步，效率最高的！

缺点：

1、相对于数据文件来说，aof远远大于 rdb，修复的速度也比 rdb慢！

2、Aof 运行效率也要比 rdb 慢，所以我们redis默认的配置就是rdb持久化！

扩展： 1、RDB 持久化方式能够在指定的时间间隔内对你的数据进行快照存储

2、AOF 持久化方式记录每次对服务器写的操作，当服务器重启的时候会重新执行这些命令来恢复原始的数据，AOF命令以Redis 协议追加保存每次写的操作到文件末尾，Redis还能对AOF文件进行后台重写，使得AOF文件的体积不至于过大。

3、只做缓存，如果你只希望你的数据在服务器运行的时候存在，你也可以不使用任何持久化

4、同时开启两种持久化方式

在这种情况下，当redis重启的时候会优先载入AOF文件来恢复原始的数据，因为在通常情况下AOF 文件保存的数据集要比RDB文件保存的数据集要完整。 RDB 的数据不实时，同时使用两者时服务器重启也只会找AOF文件，那要不要只使用AOF呢？作者建议不要，因为RDB更适合用于备份数据库（AOF在不断变化不好备份），快速重启，而且不会有 AOF可能潜在的Bug，留着作为一个万一的手段。 5、性能建议

因为RDB文件只用作后备用途，建议只在Slave上持久化RDB文件，而且只要15分钟备份一次就够了，只保留 save 900 1 这条规则。如果Enable AOF ，好处是在最恶劣情况下也只会丢失不超过两秒数据，启动脚本较简单只load自己的AOF文件就可以了，代价一是带来了持续的IO，二是AOF rewrite 的最后将 rewrite 过程中产生的新数据写到新文件造成的阻塞几乎是不可避免的。只要硬盘许可，应该尽量减少AOF rewrite 的频率，AOF重写的基础大小默认值64M太小了，可以设到5G以上，默认超过原大小100%大小重写可以改到适当的数值。如果不Enable AOF ，仅靠 Master-Slave Repllcation 实现高可用性也可以，能省掉一大笔IO，也减少了rewrite时带来的系统波动。代价是如果Master/Slave 同时倒掉，会丢失十几分钟的数据，启动脚本也要比较两个 Master/Slave 中的 RDB文件，载入较新的那个，微博就是这种架构。十一、RDB和AOF选择 RDB 和 AOF 对比 RDB AOF 启动优先级低高体积小大恢复速度快慢数据安全性丢数据根据策略决定如何选择使用哪种持久化方式？一般来说，如果想达到足以媲美 PostgreSQL 的数据安全性，你应该同时使用两种持久化功能。

如果你非常关心你的数据，但仍然可以承受数分钟以内的数据丢失，那么你可以只使用 RDB 持久化。

有很多用户都只使用 AOF 持久化，但并不推荐这种方式：因为定时生成 RDB 快照（snapshot）非常便于进行数据库备份，并且 RDB 恢复数据集的速度也要比 AOF 恢复的速度要快。

image-20220324200316734

十二：Redis订阅发布 Redis 发布订阅(pub/sub)是一种消息通信模式：发送者(pub)发送消息，订阅者(sub)接收消息。如：微信、微博、关注系统！

Redis 客户端可以订阅任意数量的频道。

订阅/发布消息图：

第一个：消息发送者，第二个：频道第三个：消息订阅者！

image-20220324200807753

下图展示了频道 channel1 ，以及订阅这个频道的三个客户端 —— client2 、 client5 和 client1 之间的关系：

image-20220324200851719

当有新消息通过 PUBLISH 命令发送给频道 channel1 时，这个消息就会被发送给订阅它的三个客户端：

image-20220324200915239

命令

这些命令被广泛用于构建即时通信应用，比如网络聊天室(chatroom)和实时广播、实时提醒等。

image-20220324200954082

测试

订阅端：

127.0.0.1:6379> SUBSCRIBE jihu2 #订阅一个频道jihu2 Reading messages... (press Ctrl-C to quit)

"subscribe"
"jihu2"
(integer) 1 #等待读取推送的信息
"message"
"jihu2"
"hello beauty women" #自动接收jihu2发布的信息
"message"
"jihu2"
"hello redis"

发送端：

[root@localhost bin]# redis-cli -p 6379 #发布者发布消息到频道 127.0.0.1:6379> PUBLISH jihu2 "hello beauty women" #发布者发布消息到频道 (integer) 1 127.0.0.1:6379> PUBLISH jihu2 "hello redis" (integer) 1

原理

Redis是使用C实现的，通过分析 Redis 源码里的 pubsub.c 文件，了解发布和订阅机制的底层实现，籍此加深对 Redis 的理解。

Redis 通过 PUBLISH 、SUBSCRIBE 和 PSUBSCRIBE 等命令实现发布和订阅功能。

微信：

通过 SUBSCRIBE 命令订阅某频道后，redis-server 里维护了一个字典，字典的键就是一个个频道！，而字典的值则是一个链表，链表中保存了所有订阅这个 channel 的客户端。SUBSCRIBE 命令的关键，就是将客户端添加到给定 channel 的订阅链表中。

image-20220324202031676

通过 PUBLISH 命令向订阅者发送消息，redis-server 会使用给定的频道作为键，在它所维护的 channel 字典中查找记录了订阅这个频道的所有客户端的链表，遍历这个链表，将消息发布给所有订阅者。

缺点

如果一个客户端订阅了频道，但自己读取消息的速度却不够快的话，那么不断积压的消息会使redis输出缓冲区的体积变得越来越大，这可能使得redis本身的速度变慢，甚至直接崩溃。这和数据传输可靠性有关，如果在订阅方断线，那么他将会丢失所有在短线期间发布者发布的消息。使用场景

1、实时消息系统！

2、事实聊天！（频道当做聊天室，将信息回显给所有人即可！）

3、订阅，关注系统都是可以的！

稍微复杂的场景，我们就会使用消息中间件MQ处理。

十三、Redis主从复制概念主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点 (master/leader)，后者称为从节点(slave/follower)；数据的复制是单向的，只能由主节点到从节点。 Master以写为主，Slave 以读为主。

默认情况下，每台Redis服务器都是主节点;

且一个主节点可以有多个从节点(或没有从节点)，但一个从节点只能有一个主节点。

主从复制的作用主要包括：

1、数据冗余：主从复制实现了数据的热备份，是持久化之外的一种数据冗余方式。

2、故障恢复：当主节点出现问题时，可以由从节点提供服务，实现快速的故障恢复；实际上是一种服务的冗余。

3、负载均衡：在主从复制的基础上，配合读写分离，可以由主节点提供写服务，由从节点提供读服务（即写Redis数据时应用连接主节点，读Redis数据时应用连接从节点），分担服务器负载；尤其是在写少读多的场景下，通过多个从节点分担读负载，可以大大提高Redis服务器的并发量。

4、高可用（集群）基石：除了上述作用以外，主从复制还是哨兵和集群能够实施的基础，因此说主从复制是Redis高可用的基础

一般来说，要将Redis运用于工程项目中，只使用一台Redis是万万不能的（宕机），原因如下：

1、从结构上，单个Redis服务器会发生单点故障，并且一台服务器需要处理所有的请求负载，压力较大；

2、从容量上，单个Redis服务器内存容量有限，就算一台Redis服务器内存容量为256G，也不能将所有内存用作Redis存储内存，一般来说，单台Redis最大使用内存不应该超过20G。

电商网站上的商品，一般都是一次上传，无数次浏览的，说专业点也就是"多读少写"。

对于这种场景，我们可以使如下这种架构：

image-20220324203513159

主从复制，读写分离！ 80% 的情况下都是在进行读操作！减缓服务器的压力！架构中经常使用！一主二从！

只要在公司中，主从复制就是必须要使用的，因为在真实的项目中不可能单机使用Redis！

环境配置只配置从库，不用配置主库！

127.0.0.1:6379> info replication #查看当前库的信息

Replication

role:master #角色 master connected_slaves:0 # 0 表示没有从机 master_failover_state:no-failover master_replid:f80a04ead679af98a1c84518b78e529a0a33c986 master_replid2:0000000000000000000000000000000000000000 master_repl_offset:0 second_repl_offset:-1 repl_backlog_active:0 repl_backlog_size:1048576 repl_backlog_first_byte_offset:0 repl_backlog_histlen:0

复制3个配置文件，然后修改对应的信息

要想改一个启动项

要改以下四步： ( redis80.conf ）

端口 2.pid名字 3.log文件名字 4.dump.rdb 名字 image-20220324204710153

image-20220324204609080

image-20220324204804988

修改完毕后，启动我们的3个redis服务器，可以通过进程信息查看

image-20220324205842683

一主二从默认情况下，每台Redis服务器都是主节点; 我们一般情况下只用配置从机就好了。

主（79）二从( 80 , 81 )

从机中查看：

127.0.0.1:6380> SLAVEOF 127.0.0.1 6379 #SLAVEOF host 6379 找谁当自己的老的 OK 127.0.0.1:6380> info repilcation 127.0.0.1:6380> info replication

Replication

role:slave #当前角色是从机 master_host:127.0.0.1 #可以看到主机的信息 master_port:6379 master_link_status:up master_last_io_seconds_ago:3 master_sync_in_progress:0 slave_read_repl_offset:28 slave_repl_offset:28 slave_priority:100 slave_read_only:1 replica_announced:1 connected_slaves:0 master_failover_state:no-failover master_replid:a0e8a30728e95d67d6b191795452ea27b934ba67 master_replid2:0000000000000000000000000000000000000000 master_repl_offset:28 second_repl_offset:-1 repl_backlog_active:1 repl_backlog_size:1048576 repl_backlog_first_byte_offset:1 repl_backlog_histlen:28

主机中查看(此时两个从机都配置完毕了)：

127.0.0.1:6379> info replication

Replication

role:master connected_slaves:2 #多了从机的配置 slave0:ip=127.0.0.1,port=6380,state=online,offset=196,lag=0 #多了从机的配置 slave1:ip=127.0.0.1,port=6381,state=online,offset=196,lag=1 master_failover_state:no-failover master_replid:a0e8a30728e95d67d6b191795452ea27b934ba67 master_replid2:0000000000000000000000000000000000000000 master_repl_offset:196 second_repl_offset:-1 repl_backlog_active:1 repl_backlog_size:1048576 repl_backlog_first_byte_offset:1 repl_backlog_histlen:196

真实的主从配置应该在配置文件中配置，这样的话是永久的，我们这里使用的是命令是暂时的。

这里是在配置文件中配置主从信息

image-20220324211740279

细节

主机可以写，从机不能写只能读。主机中的所有信息和数据，都会自动被从机保存。

主机写：

image-20220324212210501

从机只能读取内容

image-20220324212247304

测试：主机断开连接，从机依旧连接到主机的，但是没有写操作，这个时候，主机如果回来了，从机依旧可以直接获取到主机写的信息！

如果是使用命令行，来配置的主从，这个时候如果重启了，就会变回主机！只要变为从机，立马就会从主机中获取值！

赋值原理

Slave 启动成功连接到 master 后会发送一个sync同步命令

Master 接到命令，启动后台的存盘进程，同时收集所有接收到的用于修改数据集命令，在后台进程执行完毕之后，master将传送整个数据文件到slave，并完成一次完全同步。

全量复制：而slave服务在接收到数据库文件数据后，将其存盘并加载到内存中。

增量复制：Master 继续将新的所有收集到的修改命令依次传给slave，完成同步

但是只要是重新连接master，一次完全同步（全量复制）将被自动执行！我们的数据一定可以在从机中看到！

层层链路

上一个M链接下一个 S！

image-20220324213043352

这时候也可以完成我们的主从复制！

如果没有老大了，这个时候能不能选择一个老大出来呢？需手动设置！

谋朝篡位

如果主机断开了连接，我们可以使用SLAVEOF no one 让自己变成主机！其他的节点就可以手动连接到最新的这个主节点（手动）！如果这个时候老大修复了，那就重新连接！

十四、哨兵模式（自动选举老大的模式）

概述

主从切换技术的方法是：当主服务器宕机后，需要手动把一台从服务器切换为主服务器，这就需要人工干预，费事费力，还会造成一段时间内服务不可用。这不是一种推荐的方式，更多时候，我们优先考虑哨兵模式。Redis从2.8开始正式提供了Sentinel（哨兵）架构来解决这个问题。

谋朝篡位的自动版，能够后台监控主机是否故障，如果故障了根据投票数自动将从库转换为主库。

哨兵模式是一种特殊的模式，首先Redis提供了哨兵的命令，哨兵是一个独立的进程，作为进程，它会独立运行。其原理是哨兵通过发送命令，等待Redis服务器响应，从而监控运行的多个Redis实例。

image-20220324214940668

这里的哨兵有两个作用

通过发送命令，让Redis服务器返回监控其运行状态，包括主服务器和从服务器。当哨兵监测到master宕机，会自动将slave切换成master，然后通过发布订阅模式通知其他的从服务器，修改配置文件，让它们切换主机。然而一个哨兵进程对Redis服务器进行监控，可能会出现问题，为此，我们可以使用多个哨兵进行监控。各个哨兵之间还会进行监控，这样就形成了多哨兵模式。

image-20220324215225575

假设主服务器宕机，哨兵1先检测到这个结果，系统并不会马上进行failover过程，仅仅是哨兵1主观的认为主服务器不可用，这个现象成为主观下线。当后面的哨兵也检测到主服务器不可用，并且数量达到一定值时，那么哨兵之间就会进行一次投票，投票的结果由一个哨兵发起，进行failover[故障转移]操作。切换成功后，就会通过发布订阅模式，让各个哨兵把自己监控的从服务器实现切换主机，这个过程称为客观下线。

测试

我们目前的状态是一主二从！

1、配置哨兵配置文件 sentinel.conf

sentinel monitor 被监控的名称 host port 1

sentinel monitor myredis 127.0.0.1 6379 1 #后面的这个数字1 ，代表主机挂了，从机投票看让谁接替成为主机，票数最多的，就会成为主机。 2.启动哨兵

[root@localhost bin]# redis-sentinel kconfig/sentinel.conf image-20220324220132337

如果Master 节点断开了，这个时候就会从从机中随机选择一个服务器！（这里面有一个投票算法！）

image-20220324220653245

哨兵日志！ (指定6381为主节点)

image-20220324220814926

哨兵模式

如果主机此时回来了，只能归并到新的主机下，当做从机，这就是哨兵模式的规则！

哨兵模式优缺点

优点：

哨兵集群，基于主从复制模式，所有主从复制的优点，它都有主从可以切换，故障可以转移，系统的可用性更好哨兵模式是主从模式的升级，手动到自动，更加健壮缺点：

Redis不好在线扩容，集群容量一旦达到上限，在线扩容就十分麻烦实现哨兵模式的配置其实是很麻烦的，里面有很多配置项哨兵模式的全部配置

完整的哨兵模式配置文件 sentinel.conf

Example sentinel.conf

哨兵sentinel实例运行的端口默认26379

port 26379

哨兵sentinel的工作目录

dir /tmp

哨兵sentinel监控的redis主节点的 ip port

master-name 可以自己命名的主节点名字只能由字母A-z、数字0-9 、这三个字符".-_"组成。

quorum 当这些quorum个数sentinel哨兵认为master主节点失联那么这时客观上认为主节点失联了

sentinel monitor <master-name> <ip> <redis-port> <quorum>

sentinel monitor mymaster 127.0.0.1 6379 1

当在Redis实例中开启了requirepass foobared 授权密码这样所有连接Redis实例的客户端都要提供密码

设置哨兵sentinel 连接主从的密码注意必须为主从设置一样的验证密码

sentinel auth-pass <master-name> <password>

sentinel auth-pass mymaster MySUPER--secret-0123passw0rd

指定多少毫秒之后主节点没有应答哨兵sentinel 此时哨兵主观上认为主节点下线默认30秒

sentinel down-after-milliseconds <master-name> <milliseconds>

sentinel down-after-milliseconds mymaster 30000

这个配置项指定了在发生failover主备切换时最多可以有多少个slave同时对新的master进行同步，

这个数字越小，完成failover所需的时间就越长，但是如果这个数字越大，就意味着越多的slave因为replication而不可用。可以通过将这个值设为 1 来保证每次只有一个slave 处于不能处理命令请求的状态。

sentinel parallel-syncs <master-name> <numslaves>

sentinel parallel-syncs mymaster 1

故障转移的超时时间 failover-timeout 可以用在以下这些方面：

#1. 同一个sentinel对同一个master两次failover之间的间隔时间。 #2. 当一个slave从一个错误的master那里同步数据开始计算时间。直到slave被纠正为向正确的master那里同步数据时。 #3.当想要取消一个正在进行的failover所需要的时间。 #4.当进行failover时，配置所有slaves指向新的master所需的最大时间。不过，即使过了这个超时，slaves依然会被正确配置为指向master，但是就不按parallel-syncs所配置的规则来了

默认三分钟

sentinel failover-timeout <master-name> <milliseconds>

sentinel failover-timeout mymaster 180000

SCRIPTS EXECUTION

#配置当某一事件发生时所需要执行的脚本，可以通过脚本来通知管理员，例如当系统运行不正常时发邮件通知相关人员。 #对于脚本的运行结果有以下规则： #若脚本执行后返回1，那么该脚本稍后将会被再次执行，重复次数目前默认为10 #若脚本执行后返回2，或者比2更高的一个返回值，脚本将不会重复执行。 #如果脚本在执行过程中由于收到系统中断信号被终止了，则同返回值为1时的行为相同。 #一个脚本的最大执行时间为60s，如果超过这个时间，脚本将会被一个SIGKILL信号终止，之后重新执行。

#通知型脚本:当sentinel有任何警告级别的事件发生时（比如说redis实例的主观失效和客观失效等等），将会去调用这个脚本， #这时这个脚本应该通过邮件，SMS等方式去通知系统管理员关于系统不正常运行的信息。调用该脚本时，将传给脚本两个参数， #一个是事件的类型， #一个是事件的描述。 #如果sentinel.conf配置文件中配置了这个脚本路径，那么必须保证这个脚本存在于这个路径，并且是可执行的，否则sentinel无法正常启动成功。 #通知脚本用shell编写

sentinel notification-script <master-name> <script-path>

sentinel notification-script mymaster /var/redis/notify.sh

客户端重新配置主节点参数脚本

当一个master由于failover而发生改变时，这个脚本将会被调用，通知相关的客户端关于master地址已经发生改变的信息。

以下参数将会在调用脚本时传给脚本:

<master-name> <role> <state> <from-ip> <from-port> <to-ip> <to-port>

目前<state>总是“failover”,

<role>是“leader”或者“observer”中的一个。

参数 from-ip, from-port, to-ip, to-port是用来和旧的master和新的master(即旧的slave)通信的

这个脚本应该是通用的，能被多次调用，不是针对性的。

sentinel client-reconfig-script <master-name> <script-path>

sentinel client-reconfig-script mymaster /var/redis/reconfig.sh #一般都是由运维来配置。十五、Redis缓存穿透和雪崩服务的高可用问题！

Redis缓存的使用，极大的提升了应用程序的性能和效率，特别是数据查询方面。但同时，它也带来了一些问题。其中，最要害的问题，就是数据的一致性问题，从严格意义上讲，这个问题无解。如果对数据的一致性要求很高，那么就不能使用缓存。

另外的一些典型问题就是，缓存穿透、缓存雪崩和缓存击穿。目前，业界也都有比较流行的解决方案。

image-20220324223039991

缓存穿透（查不到）概念

缓存穿透的概念很简单，用户想要查询一个数据，发现redis内存数据库没有，也就是缓存没有命中，于是向持久层数据库查询。发现也没有，于是本次查询失败。当用户很多的时候，缓存都没有命中（秒杀！），于是都去请求了持久层数据库。这会给持久层数据库造成很大的压力，这时候就相当于出现了缓存穿透。

解决方案

布隆过滤器

布隆过滤器是一种数据结构，对所有可能查询的参数以hash形式存储，在控制层先进行校验，不符合则丢弃，从而避免了对底层存储系统的查询压力；

image-20220324223255580

缓存空对象

当存储层不命中后，即使返回的空对象也将其缓存起来，同时会设置一个过期时间，之后再访问这个数据将会从缓存中获取，保护了后端数据源；

image-20220324223325089

但是这种方法会存在两个问题：

1、如果空值能够被缓存起来，这就意味着缓存需要更多的空间存储更多的键，因为这当中可能会有很多的空值的键；

2、即使对空值设置了过期时间，还是会存在缓存层和存储层的数据会有一段时间窗口的不一致，这对于需要保持一致性的业务会有影响。

缓存击穿（量太大，缓存过期！）概述

这里需要注意和缓存击穿的区别，缓存击穿，是指一个key非常热点，在不停的扛着大并发，大并发集中对这一个点进行访问，当这个key在失效的瞬间，持续的大并发就穿破缓存，直接请求数据库，就像在一个屏障上凿开了一个洞。

当某个key在过期的瞬间，有大量的请求并发访问，这类数据一般是热点数据，由于缓存过期，会同时访问数据库来查询最新数据，并且回写缓存，会导使数据库瞬间压力过大。

解决方案

设置热点数据永不过期

从缓存层面来看，没有设置过期时间，所以不会出现热点 key 过期后产生的问题。

加互斥锁 (分布式锁)

分布式锁：使用分布式锁，保证对于每个key同时只有一个线程去查询后端服务，其他线程没有获得分布式锁的权限，因此只需要等待即可。这种方式将高并发的压力转移到了分布式锁，因此对分布式锁的考验很大。

image-20220324223441132

缓存雪崩概念

缓存雪崩，是指在某一个时间段，缓存集中过期失效。Redis 宕机！

产生雪崩的原因之一，比如在写本文的时候，马上就要到双十二零点，很快就会迎来一波抢购，这波商品时间比较集中的放入了缓存，假设缓存一个小时。那么到了凌晨一点钟的时候，这批商品的缓存就都过期了。而对这批商品的访问查询，都落到了数据库上，对于数据库而言，就会产生周期性的压力波峰。于是所有的请求都会达到存储层，存储层的调用量会暴增，造成存储层也会挂掉的情况。

image-20220324223519525

其实集中过期，倒不是非常致命，比较致命的缓存雪崩，是缓存服务器某个节点宕机或断网。因为自然形成的缓存雪崩，一定是在某个时间段集中创建缓存，这个时候，数据库也是可以顶住压力的。无非就是对数据库产生周期性的压力而已。而缓存服务节点的宕机，对数据库服务器造成的压力是不可预知的，很有可能瞬间就把数据库压垮。

解决方案

redis高可用

这个思想的含义是，既然redis有可能挂掉，那我多增设几台redis，这样一台挂掉之后其他的还可以继续工作，其实就是搭建的集群。（异地多活！）

限流降级（在SpringCloud讲解过！）

这个解决方案的思想是，在缓存失效后，通过加锁或者队列来控制读数据库写缓存的线程数量。比如对某个key只允许一个线程查询数据和写缓存，其他线程等待。

数据预热

数据加热的含义就是在正式部署之前，我先把可能的数据先预先访问一遍，这样部分可能大量访问的数据就会加载到缓存中。在即将发生大并发访问前手动触发加载缓存不同的key，设置不同的过期时间，让缓存失效的时间点尽量均匀。

什么是布隆过滤器布隆过滤器（Bloom Filter），是1970年，由一个叫布隆的小伙子提出的，距今已经五十年了，和老哥一样老。

它实际上是一个很长的二进制向量和一系列随机映射函数，二进制大家应该都清楚，存储的数据不是0就是1，默认是0。

主要用于判断一个元素是否在一个集合中，0代表不存在某个数据，1代表存在某个数据。

懂了吗？作为暖男的老哥在给你们画张图来帮助理解：

image-20220324224221886

布隆过滤器用途解决Redis缓存穿透（今天重点讲解）在爬虫时，对爬虫网址进行过滤，已经存在布隆中的网址，不在爬取。垃圾邮件过滤，对每一个发送邮件的地址进行判断是否在布隆的黑名单中，如果在就判断为垃圾邮件。布隆过滤器原理存入过程布隆过滤器上面说了，就是一个二进制数据的集合。当一个数据加入这个集合时，经历如下洗礼（这里有缺点，下面会讲）：

通过K个哈希函数计算该数据，返回K个计算出的hash值这些K个hash值映射到对应的K个二进制的数组下标将K个下标对应的二进制数据改成1。例如，第一个哈希函数返回x，第二个第三个哈希函数返回y与z，那么：X、Y、Z对应的二进制改成1。

image-20220324224352812

查询过程布隆过滤器主要作用就是查询一个数据，在不在这个二进制的集合中，查询过程如下

通过K个哈希函数计算该数据，对应计算出的K个hash值通过hash值找到对应的二进制的数组下标判断：如果存在一处位置的二进制数据是0，那么该数据不存在。如果都是1，该数据存在集合中。（这里有缺点，下面会讲）删除过程一般不能删除布隆过滤器里的数据，这是一个缺点之一，我们下面会分析

布隆过滤器的优缺点优点

由于存储的是二进制数据，所以占用的空间很小它的插入和查询速度是非常快的，时间复杂度是O（K），可以联想一下HashMap的过程保密性很好，因为本身不存储任何原始数据，只有二进制数据缺点

这就要回到我们上面所说的那些缺点了。

添加数据是通过计算数据的hash值，那么很有可能存在这种情况：两个不同的数据计算得到相同的hash值。

image-20220416215447249

例如图中的“你好”和“hello”，假如最终算出hash值相同，那么他们会将同一个下标的二进制数据改为1。

这个时候，你就不知道下标为2的二进制，到底是代表“你好”还是“hello”。

由此得出如下缺点

一、存在误判假如上面的图没有存"hello"，只存了"你好"，那么用"hello"来查询的时候，会判断"hello"存在集合中。

因为“你好”和“hello”的hash值是相同的，通过相同的hash值，找到的二进制数据也是一样的，都是1。

二、删除困难到这里我不说大家应该也明白为什么吧，作为你们的暖男老哥，还是讲一下吧。

还是用上面的举例，因为“你好”和“hello”的hash值相同，对应的数组下标也是一样的。

这时候老哥想去删除“你好”，将下标为2里的二进制数据，由1改成了0。

那么我们是不是连“hello”都一起删了呀。（0代表有这个数据，1代表没有这个数据）

实现布隆过滤器有很多种实现方式，其中一种就是Guava提供的实现方式。

一、引入Guava pom配置 <dependency> <groupId>com.google.guava</groupId> <artifactId>guava</artifactId> <version>29.0-jre</version> </dependency> 二、代码实现这里我们顺便测一下它的误判率。

import com.google.common.hash.BloomFilter; import com.google.common.hash.Funnels;

public class BloomFilterCase {

/**

预计要插入多少数据 */ private static int size = 1000000;

/**

期望的误判率 */ private static double fpp = 0.01;

/**

布隆过滤器 */ private static BloomFilter<Integer> bloomFilter = BloomFilter.create(Funnels.integerFunnel(), size, fpp);

public static void main(String[] args) { // 插入10万样本数据 for (int i = 0; i < size; i++) { bloomFilter.put(i); }

// 用另外十万测试数据，测试误判率
int count = 0;
for (int i = size; i < size + 100000; i++) {
  if (bloomFilter.mightContain(i)) {
    count++;
    System.out.println(i + "误判了");
  }
}
System.out.println("总共的误判数:" + count);

} } 运行结果：图片

10万数据里有947个误判，约等于0.01%，也就是我们代码里设置的误判率：fpp = 0.01。

深入分析代码核心BloomFilter.create方法

@VisibleForTesting static <T> BloomFilter<T> create( Funnel<? super T> funnel, long expectedInsertions, double fpp, Strategy strategy) { 。。。。 } 这里有四个参数：

funnel：数据类型(一般是调用Funnels工具类中的) expectedInsertions：期望插入的值的个数 fpp：误判率(默认值为0.03) strategy：哈希算法我们重点讲一下fpp参数

fpp误判率情景一：fpp = 0.01 误判个数：947 占内存大小：9585058位数情景二：fpp = 0.03（默认参数）误判个数：3033 占内存大小：7298440位数情景总结误判率可以通过fpp参数进行调节 fpp越小，需要的内存空间就越大：0.01需要900多万位数，0.03需要700多万位数。 fpp越小，集合添加数据时，就需要更多的hash函数运算更多的hash值，去存储到对应的数组下标里。（忘了去看上面的布隆过滤存入数据的过程）上面的numBits，表示存一百万个int类型数字，需要的位数为7298440，700多万位。理论上存一百万个数，一个int是4字节32位，需要481000000=3200万位。如果使用HashMap去存，按HashMap50%的存储效率，需要6400万位。可以看出BloomFilter的存储空间很小，只有HashMap的1/10左右

上面的numHashFunctions表示需要几个hash函数运算，去映射不同的下标存这些数字是否存在（0 or 1）。

解决Redis缓存穿透上面使用Guava实现的布隆过滤器是把数据放在了本地内存中。分布式的场景中就不合适了，无法共享内存。

我们还可以用Redis来实现布隆过滤器，这里使用Redis封装好的客户端工具Redisson。

其底层是使用数据结构bitMap，大家就把它理解成上面说的二进制结构，由于篇幅原因，bitmap不在这篇文章里讲，我们之后写一篇文章介绍。

代码实现 pom配置：

<dependency> <groupId>org.redisson</groupId> <artifactId>redisson-spring-boot-starter</artifactId> <version>3.13.4</version> </dependency> java代码：

public class RedissonBloomFilter {

public static void main(String[] args) { Config config = new Config(); config.useSingleServer().setAddress("redis://127.0.0.1:6379"); config.useSingleServer().setPassword("1234"); //构造Redisson RedissonClient redisson = Redisson.create(config);

RBloomFilter<String> bloomFilter = redisson.getBloomFilter("phoneList");
//初始化布隆过滤器：预计元素为100000000L,误差率为3%
bloomFilter.tryInit(100000000L,0.03);
//将号码10086插入到布隆过滤器中
bloomFilter.add("10086");

//判断下面号码是否在布隆过滤器中
//输出false
System.out.println(bloomFilter.contains("123456"));
//输出true
System.out.println(bloomFilter.contains("10086"));

} } 由于Guava那个版本，我们已经很详细的讲了布隆过滤器的那些参数，这里就不重复赘述了。

posted on 2022-11-22 11:21 太阳当空照``` 阅读(39) 评论(0) 收藏举报

刷新页面返回顶部

wx-36

Redis

商品信息

商品描述、评论(文字居多)

图片

商品关键字 用于搜索

商品热门的波段信息

商品交易，外部支付接口

setex (set with expire) #设置过期时间

setnx (set if not exist) #不存在在设置 (在分布式锁中会常常使用)

规则： 两极无法直接添加，我们一般会下载城市数据，直接通过java程序一次性导入

（RedisAutoConfiguration它在RedisAutoConfiguration/META-INF/spring.factories文件中）

Specify the server verbosity level.

This can be one of:

debug (a lot of information, useful for development/testing)

verbose (many rarely useful info, but not a mess like the debug level)

notice (moderately verbose, what you want in production probably)

warning (only very important / critical messages are logged)

appendfsync always # 每次修改都会 sync。消耗性能

appendfsync no # 不执行 sync，这个时候操作系统自己同步数据，速度最快！

appendfsync always # 每次修改都会 sync。消耗性能

appendfsync no # 不执行 sync，这个时候操作系统自己同步数据，速度最快！

rewrite 重写，

Replication

Replication

Replication

sentinel monitor 被监控的名称 host port 1

Example sentinel.conf

哨兵sentinel实例运行的端口 默认26379

哨兵sentinel的工作目录

哨兵sentinel监控的redis主节点的 ip port

master-name 可以自己命名的主节点名字 只能由字母A-z、数字0-9 、这三个字符".-_"组成。

quorum 当这些quorum个数sentinel哨兵认为master主节点失联 那么这时 客观上认为主节点失联了

sentinel monitor <master-name> <ip> <redis-port> <quorum>

当在Redis实例中开启了requirepass foobared 授权密码 这样所有连接Redis实例的客户端都要提供密码

设置哨兵sentinel 连接主从的密码 注意必须为主从设置一样的验证密码

sentinel auth-pass <master-name> <password>

指定多少毫秒之后 主节点没有应答哨兵sentinel 此时 哨兵主观上认为主节点下线 默认30秒

sentinel down-after-milliseconds <master-name> <milliseconds>

这个配置项指定了在发生failover主备切换时最多可以有多少个slave同时对新的master进行 同步，

sentinel parallel-syncs <master-name> <numslaves>

故障转移的超时时间 failover-timeout 可以用在以下这些方面：

默认三分钟

sentinel failover-timeout <master-name> <milliseconds>

SCRIPTS EXECUTION

sentinel notification-script <master-name> <script-path>

客户端重新配置主节点参数脚本

当一个master由于failover而发生改变时，这个脚本将会被调用，通知相关的客户端关于master地址已经发生改变的信息。

以下参数将会在调用脚本时传给脚本:

<master-name> <role> <state> <from-ip> <from-port> <to-ip> <to-port>

目前<state>总是“failover”,

<role>是“leader”或者“observer”中的一个。

参数 from-ip, from-port, to-ip, to-port是用来和旧的master和新的master(即旧的slave)通信的

这个脚本应该是通用的，能被多次调用，不是针对性的。

sentinel client-reconfig-script <master-name> <script-path>

导航

公告

商品关键字用于搜索

规则：两极无法直接添加，我们一般会下载城市数据，直接通过java程序一次性导入

哨兵sentinel实例运行的端口默认26379

master-name 可以自己命名的主节点名字只能由字母A-z、数字0-9 、这三个字符".-_"组成。

quorum 当这些quorum个数sentinel哨兵认为master主节点失联那么这时客观上认为主节点失联了

当在Redis实例中开启了requirepass foobared 授权密码这样所有连接Redis实例的客户端都要提供密码

设置哨兵sentinel 连接主从的密码注意必须为主从设置一样的验证密码

指定多少毫秒之后主节点没有应答哨兵sentinel 此时哨兵主观上认为主节点下线默认30秒

这个配置项指定了在发生failover主备切换时最多可以有多少个slave同时对新的master进行同步，