redis 基础- 持久化 - 高可用
String
设置
SET username "zhangsan"
GET username
key也可以用双引号 ,SET "username" "zhangsan"
GET的结果:
"zhangsan"
再次设置,覆盖原值
SET username "lisi"
如果key不存在,则返回空
GET username
结果:
(nil)
删除
SET username "zhangsan"
GET username
"zhangsan"
删除:
DEL username
结果:
(integer) 1
再次获取:
GET username
结果:
(nil)
EXISTS
判断 key 是否存在
SET username "zhangsan"
EXISTS username
结果:
(integer) 1
不存在:
EXISTS age
结果:
(integer) 0
MSET、MGET
同时设置多个值
MSET username "zhangsan" age 20 city "Beijing"
一次获取:
MGET username age city
结果:
1) "zhangsan"
2) "20"
3) "Beijing"
演示:如果key不存在
MGET username xxx city
结果:
1) "zhangsan"
2) (nil)
3) "Beijing"
| 命令 | 功能 | 示例 |
|---|---|---|
SET |
设置值 | SET name Tom |
GET |
获取值 | GET name |
DEL |
删除 key | DEL name |
EXISTS |
判断 key 是否存在 | EXISTS name |
MSET |
批量设置 | MSET name Tom age 20 |
MGET |
批量获取 | MGET name age |
SET ... EX |
设置值+过期时间 | SET token abc EX 60 |
SET ... PX |
设置值+毫秒过期 | SET token abc PX 60000 |
SET ... NX |
不存在才设置 | SET lock abc NX |
SET ... XX |
存在才设置 | SET name Tom XX |
EXPIRE |
设置过期时间 | EXPIRE key 60 |
TTL |
查看剩余时间 | TTL key |
PERSIST |
移除过期时间 | PERSIST key |
INCR |
+1 | INCR views |
DECR |
-1 | DECR stock |
INCRBY |
增加整数 | INCRBY views 10 |
DECRBY |
减少整数 | DECRBY stock 10 |
INCRBYFLOAT |
增加浮点数 | INCRBYFLOAT score 1.5 |
APPEND |
追加字符串 | APPEND msg " World" |
STRLEN |
获取长度 | STRLEN msg |
GETRANGE |
获取字符串区间 | GETRANGE msg 0 4 |
TYPE |
查看数据类型 | TYPE key |
RDB
把某一时刻的内存中的所有数据都记录到磁盘中。这样一来即使故障宕机,快照文件也不会丢失,数据的可靠性也就得到了保证。这个快照文件就称为RDB文件(dump.rdb),其中,RDB就是Redis DataBase的缩写。下次启动时便会读取这个文件,以恢复数据。
在配置文件redis.conf里,设置相关的参数
配置
save N M 距离上次成功保存至少经过 N 秒,并且累计发生至少 M 次修改,才满足自动生成 RDB 快照的条件。
save 3600 1
save 300 100
save 60 10000 #距离上次rdb文件成功保存。至少过了60 秒,并且期间累计发生至少 10000 次修改,就会再次保存数据
注意:三条规则之间是 OR(或)的关系,不是 AND(且)。 只要其中任意一条规则满足,就可以触发一次自动快照。
一、逐条举例
假设 Redis 在 12:00:00 刚刚成功完成一次 RDB 保存,之后开始统计修改次数。
规则一:save 60 10000
| 时间 | 累计修改次数 | 是否满足 |
|---|---|---|
| 12:00:10 | 10000 | 否,时间不足 60 秒 |
| 12:00:30 | 20000 | 否,时间不足 60 秒 |
| 12:01:00 | 20000 | 是,时间和次数均满足 |
即使前 10 秒就修改了 10000 次,也要等到至少 60 秒过去,才满足这条规则。
规则二:save 300 100
| 时间 | 累计修改次数 | 是否满足 |
|---|---|---|
| 12:01:00 | 100 | 否,时间不足 300 秒 |
| 12:04:00 | 200 | 否,时间不足 300 秒 |
| 12:05:00 | 200 | 是,时间和次数均满足 |
规则三:save 3600 1
| 时间 | 累计修改次数 | 是否满足 |
|---|---|---|
| 12:00:10 | 1 | 否,时间不足 3600 秒 |
| 12:30:00 | 1 | 否,时间不足 3600 秒 |
| 13:00:00 | 1 | 是,时间和次数均满足 |
6的配置如下

7的配置如下

自定义路径和文件名
默认情况下rdb文件保存在当前redis的目录下,文件名为dump.rdb
dir ./
dbfilename dump.rdb
修改保存目录,在配置文件redis.conf,里找到dir,然后修改之:
dir /my/lib/redis
修改默认的名称,在配置文件redis.conf,里找到dbfilename,然后修改之:
dbfilename d,ump123.rdb
接下来,到达触发条件了,就会自动生成备份文件,dump123.rdb了。
有些特殊情况需要注意。
情况一:执行FLUSHDB命令后会清空数据,并且生成rdb文件(该文件是空的,因为已经清数据了)
手动触发快照
手动触发的方式生成RDB文件。Redis提供了两个命令来生成RDB文件,分别是save和bgsave
127.0.0.1:6379> save ok #由Redis主进程来执行RDB,会阻塞所有命令
127.0.0.1:6379> bgsave #开启子进程执行RDB,避免主进程受到影响
Background saving started
save命令,是阻塞,是主进程在弄,bgsave是子进程在弄,在后台弄
触发RDB快照的情况
1.配置文件中默认的快照配置
2.手动save/bgsave命令
3.执行flushall/flushdb命令也会产生dump.rdb文件,但里面是空的
4.执行shutdown且没有设置开启AOF持久化
5.主从复制时,主节点自动触发
禁用快照
方法一
在redis运行期间,进入redis目录执行redis-cli config set save ""
方法二
停止redis后改配置

AOF
以日志的形式来记录每个写操作,将Redis执行过的所有写指令记录下来,只记录增删改指令,读操作不记录,只许追加文件但不可以改写文件,redis启动之初会读取该文件重新构建数据。
默认情况下,redis是没有开启AOF(appendonlyfile)的。
开启AOF功能需要设置配置:appendonly yes
Aof保存的是appendonly.aof文件
工作流程
-
客户端向redis服务端发出写命令。
-
在这些命令到达Redis Server 以后并不是直接写入AOF文件,会将其这些命令先放入AOF缓存中(在内存)进行保存。
-
AOF缓冲会根据AOF缓冲区同步文件的三种写回策略将命令写入磁盘上的AOF文件。
-
随着写入AOF内容的增加为避免文件膨胀,会根据规则进行命令的合并(又称AOF重写),从而起到AOF文件压缩的目的。
-
当Redis Server 服务器重启的时候会从AOF文件载入数据。

写回策略
Always :同步写回,每个写命令执行完立刻同步地将日志写回磁盘
everysec :每秒写回,每个写命令执行完,只是先把日志写到AOF文件的内存缓冲区,每隔1秒把缓冲区中的内容写入磁盘
no :操作系统控制的写回,每个写命令执行完,只是先把日志写到AOF文件的内存缓冲区,由操作系统决定何时将缓冲区内容写回磁盘

默认 everysec
开启aof

文件存放的路径
redis6
配置文件这么设置
dir /myredis
跟rdb同目录
/myredis/dump.rdb
/myredis/appendonly.aof
redis7,新增了个配置
appenddirname"appendonlymydir"
在rdb的目录下,建个目录
/myredis/dump.rdb
/myredis/appendonlymydir/xxx.aof
rdb和aof共同启用时

纯缓存模式
同时关闭rdb和aof
主从复制
主从复制,master以写为主,Slave以读为主。
当master数据变化的时候,自动将新的数据异步同步到其它slave数据库。
示例
一主两从:

主从的配置,只需要配置从库的配置文件,设置主库的IP和端口号,如果主库设置了密码(requirepass),那么从库需要设置masterauth 主库密码
replicaof 192.168.1.100 6379
#masterauth 主库密码
还有第二种方式配置主从复制,某个redis想要变为某个主库的从库,那么在运行期间,进入服务端的命令行页面执行下面的命令,会变为某个主库的从库。要注意,该命令只是临时的,shutdown后就不再是从库了,要改配置才是真正的从库。另外,由于变为某个主库的从库会全量同步主库的数据,就算shutdown后再启动,从库里还是有主库的数据
,但是如果没有配置持久化的话,那么就没有了。
slaveof 主库IP 主库端口
成为从库的redis里的数据全是主库的备份数据,之前有什么数据都不管了,都丢失了,就是说不管是一开始作为从库,还是中途作为从库。
从库中途挂掉后,主库一直再写,从库再次启动恢复,会同步主库里的新数据的。
从上面可以得出,从库就是主库的全量数据的备份。
主库挂了后,从库会一直在等待主库的恢复的。
命令info replication,可以查看节点的主从关系和配置信息,进入主机或者从机的命令行界面,输入该命令即可看到,本机是主机还是从机,如果是主机的话,还能看到自己下面有哪些从机,还可以可以看到很多的主从复制的信息,不列举了。
薪火相传
为了减轻主库的压力,可以使其中一个从库(6381)变为另一个从库的从库(6380),但是6380依旧是从库,目的是让6381从6380那里同步数据,而不是从主库(6379)那。
执行命令,slaveof IP 端口即可

主从复制的原理和流程
第一次之全量同步
Replicationld:简称replid,是数据集的标记。每一个master都有唯一的replid,slave变为某maseter的从库后,会继承master节点的replid,即slave上的replid会变为master的replid。
第一阶段,某个redis要变为slave,接着给master发psync命令,master会生成rdb,并且在生成rdb的期间,很有可能会执行增删改的命令,master会保存这些命令到repl_baklog(内存缓冲区来的)中,最后把repl_baklog和rdb发给slave,作数据同步

offset:偏移量,用来记录repl_baklog增加到了哪里。
随着记录在repl_baklog中的数据增多而逐渐增大。slave完成同步时也会记录当前同步的offset。如果slave的offset小于master的offset,说明slave数据落后于master,需要更新。
repl_baklog,其实是个环形数组。master的offset记的是,我这台主机写到哪,slave的offset,记的是从机跟到哪。

增量同步
从机挂了,重新启动,replid

如果从机挂太久了,就会跟不上,就要再次全量同步

优化点
1.在master中配置repl-diskless-syncyes启用无磁盘复制,避免全量同步时的磁盘iO,就是说同步阶段,不生成rdb了,直接把要写入rdb的数据,改为写到网卡里传输。
2.适当提高repl_baklog的大小,发现slave岩机时尽快实现故障恢复,尽可能避免全量同步。
3.限制一个master上的slave节点数量,如果实在是太多slave,则可以采用主-从-从链式结构(薪火相传),减少master压力。

哨兵模式
Redis提供了哨兵(Sentinel)机制来实现主从集群的自动故障恢复。哨兵其实也是个redis,只不过不是用来存取数据,就是启动的时候,按照哨兵模式启动,那么redis就变成了哨兵,像个吹哨人。
哨兵的结构和作用如下:
1.监控:Sentinel会不断检查master和slave 是否按预期工作
2.自动故障恢复:如果master故障,Sentinel会将一个slave提升为master。当故障实例恢复后也以新的master为主
3.通知:Sentinel充当Redis客户端的服务发现来源,当集群发生故障转移时,会将最新信息推送给Redis的客户端

哨兵原理
Sentinel基于心跳机制监测服务状态,每隔1秒向集群的每个实例发送ping命令:
主观下线:如果某sentinel节点发现某实例未在规定时间响应,则认为该实例主观下线。
客观下线:若超过指定数量(quorum)的sentinel都认为该实例主观下线,则该实例客观下线。quorum值最好超
过Sentinel实例数量的一半。

选择master的依据
一旦发现master故障,sentinel需要在salve中选择一个作为新的master,选择依据是这样的:
1.首先会判断slave节点与master节点断开时间长短,如果超过指定值(down-after-milliseconds*10)则会排除该 slave节点
2.然后判断slave节点的slave-priority值,越小优先级越高,如果是0,则永不参与选举·如果slave-prority一样,则判断slave节点的offset值,越大说明数据越新,优先级越高
3.最后是判断slave节点的运行id大小,越小优先级越高。运行id是随机生成的,都到最后一步了,其实选哪个都一样。
故障转移
当选中了其中一个slave为新的master后(例如slave1),故障的转移的步骤如下:
1.sentinel给备选的slave1节点发送slaveof no one命令,让该节点成为master
2.sentinel给所有其它slave发送slaveof 192.168.150.101 7002 命令,让这些slave成为新master的从节点,开始从新的master上同步数据。
3.最后,sentinel将故障节点标记为slave,当故障节点恢复后会自动成为新的master的slave节点

配置
用三台机器作示例,每台机器上弄个配置,如下所示,记得要换本机ip和端口。
在/tmp/s目录创建一个sentinel.conf文件,添加下面的内容:
port 27001 #本机端口
sentinel announce-ip 192.168.150.101 #本机Sentinel的ip
sentinel monitor mymaster 192.168.150.101 7001 2 #要监控的主机
sentinel down-after-milliseconds mymaster 5000
sentinel failover-timeout mymaster 6000
dir "/tmp/s"
- sentinel monitor mymaster 192.168.150.101 7001 2:指定主节点信息
- mymaster:master名称,自定义,任意写
- 192.168.150.101 7001:主节点的ip和端口
- 2:选举master时的quorum值
- 只需要监控主机,因为通过监控主机即可获得从机的信息,
info replication
redisTemplate的配置项
spring:
redis:
sentinel:
master:mymaster#指定master名称
nodes:#指定redis-sentinel集群信息
-192.168.150.101:27001
-192.168.150.101:27002
-192.168.150.101:27003
配置好后,哨兵会发主机和从机的IP和端口给客户端,客户端就可以用了
代码里配置主从读写分离
@Bean
public LettuceClientConfigurationBuilderCustomizer configurationBuilderCustomizer(){
return configBuilder-> configBuilder.readFrom(ReadFrom.REPLICA_PREFERRED);}
这里的ReadFrom是配置Redis的读取策略,是一个枚举,包括下面选择:
MASTER:从主节点读
MASTER_PREFERRED:优先从master节点读,master不可用才读replica
REPLICA:从slave(replica)节点读
REPLICA_PREFERRED:优先从slave(replica)节点读,所有的slave都不可用才读master
分片集群
集群中有多个master,每个master保存不同数据。
每个master都可以有多个slave节点。
master之间通过ping监测彼此健康状态。
客户端请求可以访问集群任意节点,最终都会被转发到正确节点。

举例说明
数据key不是与节点绑定,而是与插槽绑定。redis会根据key的有效部分计算插槽值,分两种情况:
- key中包含"0",且“0”中至少包含1个字符,“0}”中的部分是有效部分
- key中不包含“{”,整个key都是有效部分
例如:key是num,那么就根据num计算,如果是{itcast}num,则根据itcast计算。计算方式是利用cRC16算法得到一个hash值,然后对16384取余,得到的结果就是slot值。
M:f5fc58defbebb957e47fb0d8327a09dc4f1678f5 192.168.150.101:7001
slots:[0-5460] (5461 slots) master
M:afaaa70d6528fc72490e0f3f7b32731a12c12bb8 192.168.150.101:7002
slots:[5461-10922](5462 slots) master
M:1c00e5f9e158b169f199f15884ab43bc433b1a06 192.168.150.101:7003
slots:[10923-16383] (5461 slots) master
将同一类数据固定的保存在同一个Redis实例的方法,即,这一类数据使用相同的有效部分,例如key都以{typeld}为前缀
浙公网安备 33010602011771号