redis 基础- 持久化 - 高可用

String

设置

SET username "zhangsan"
GET username

key也可以用双引号 , SET "username" "zhangsan"

GET的结果:

"zhangsan"

再次设置,覆盖原值

SET username "lisi"

如果key不存在,则返回空

GET username

结果:

(nil)

删除

SET username "zhangsan"

GET username
"zhangsan"

删除:

DEL username

结果:

(integer) 1

再次获取:

GET username

结果:

(nil)

EXISTS

判断 key 是否存在

SET username "zhangsan"

EXISTS username

结果:

(integer) 1

不存在:

EXISTS age

结果:

(integer) 0

MSET、MGET

同时设置多个值

MSET username "zhangsan" age 20 city "Beijing"

一次获取:

MGET username age city

结果:

1) "zhangsan"
2) "20"
3) "Beijing"

演示:如果key不存在

MGET username xxx city

结果:

1) "zhangsan"
2) (nil)
3) "Beijing"
命令 功能 示例
SET 设置值 SET name Tom
GET 获取值 GET name
DEL 删除 key DEL name
EXISTS 判断 key 是否存在 EXISTS name
MSET 批量设置 MSET name Tom age 20
MGET 批量获取 MGET name age
SET ... EX 设置值+过期时间 SET token abc EX 60
SET ... PX 设置值+毫秒过期 SET token abc PX 60000
SET ... NX 不存在才设置 SET lock abc NX
SET ... XX 存在才设置 SET name Tom XX
EXPIRE 设置过期时间 EXPIRE key 60
TTL 查看剩余时间 TTL key
PERSIST 移除过期时间 PERSIST key
INCR +1 INCR views
DECR -1 DECR stock
INCRBY 增加整数 INCRBY views 10
DECRBY 减少整数 DECRBY stock 10
INCRBYFLOAT 增加浮点数 INCRBYFLOAT score 1.5
APPEND 追加字符串 APPEND msg " World"
STRLEN 获取长度 STRLEN msg
GETRANGE 获取字符串区间 GETRANGE msg 0 4
TYPE 查看数据类型 TYPE key

RDB

把某一时刻的内存中的所有数据都记录到磁盘中。这样一来即使故障宕机,快照文件也不会丢失,数据的可靠性也就得到了保证。这个快照文件就称为RDB文件(dump.rdb),其中,RDB就是Redis DataBase的缩写。下次启动时便会读取这个文件,以恢复数据。

在配置文件redis.conf里,设置相关的参数

配置

save N M 距离上次成功保存至少经过 N 秒,并且累计发生至少 M 次修改,才满足自动生成 RDB 快照的条件。

save 3600 1
save 300 100
save 60 10000 #距离上次rdb文件成功保存。至少过了60 秒,并且期间累计发生至少 10000 次修改,就会再次保存数据

注意:三条规则之间是 OR(或)的关系,不是 AND(且)。 只要其中任意一条规则满足,就可以触发一次自动快照。

一、逐条举例

假设 Redis 在 12:00:00 刚刚成功完成一次 RDB 保存,之后开始统计修改次数。

规则一:save 60 10000

时间 累计修改次数 是否满足
12:00:10 10000 否,时间不足 60 秒
12:00:30 20000 否,时间不足 60 秒
12:01:00 20000 是,时间和次数均满足

即使前 10 秒就修改了 10000 次,也要等到至少 60 秒过去,才满足这条规则。

规则二:save 300 100

时间 累计修改次数 是否满足
12:01:00 100 否,时间不足 300 秒
12:04:00 200 否,时间不足 300 秒
12:05:00 200 是,时间和次数均满足

规则三:save 3600 1

时间 累计修改次数 是否满足
12:00:10 1 否,时间不足 3600 秒
12:30:00 1 否,时间不足 3600 秒
13:00:00 1 是,时间和次数均满足

6的配置如下

image

7的配置如下

image

自定义路径和文件名

默认情况下rdb文件保存在当前redis的目录下,文件名为dump.rdb

dir ./
dbfilename dump.rdb

修改保存目录,在配置文件redis.conf,里找到dir,然后修改之:

dir /my/lib/redis

修改默认的名称,在配置文件redis.conf,里找到dbfilename,然后修改之:

dbfilename d,ump123.rdb

接下来,到达触发条件了,就会自动生成备份文件,dump123.rdb了。

有些特殊情况需要注意。
情况一:执行FLUSHDB命令后会清空数据,并且生成rdb文件(该文件是空的,因为已经清数据了)

手动触发快照

手动触发的方式生成RDB文件。Redis提供了两个命令来生成RDB文件,分别是save和bgsave

127.0.0.1:6379> save ok #由Redis主进程来执行RDB,会阻塞所有命令
127.0.0.1:6379> bgsave #开启子进程执行RDB,避免主进程受到影响
Background saving started

save命令,是阻塞,是主进程在弄,bgsave是子进程在弄,在后台弄

触发RDB快照的情况

1.配置文件中默认的快照配置
2.手动save/bgsave命令
3.执行flushall/flushdb命令也会产生dump.rdb文件,但里面是空的
4.执行shutdown且没有设置开启AOF持久化
5.主从复制时,主节点自动触发

禁用快照

方法一

在redis运行期间,进入redis目录执行redis-cli config set save ""

方法二

停止redis后改配置
image

AOF

以日志的形式来记录每个写操作,将Redis执行过的所有写指令记录下来,只记录增删改指令,读操作不记录,只许追加文件但不可以改写文件,redis启动之初会读取该文件重新构建数据。

默认情况下,redis是没有开启AOF(appendonlyfile)的。
开启AOF功能需要设置配置:appendonly yes
Aof保存的是appendonly.aof文件

工作流程

  1. 客户端向redis服务端发出写命令。

  2. 在这些命令到达Redis Server 以后并不是直接写入AOF文件,会将其这些命令先放入AOF缓存中(在内存)进行保存。

  3. AOF缓冲会根据AOF缓冲区同步文件的三种写回策略将命令写入磁盘上的AOF文件。

  4. 随着写入AOF内容的增加为避免文件膨胀,会根据规则进行命令的合并(又称AOF重写),从而起到AOF文件压缩的目的。

  5. 当Redis Server 服务器重启的时候会从AOF文件载入数据。

image

写回策略

Always :同步写回,每个写命令执行完立刻同步地将日志写回磁盘
everysec :每秒写回,每个写命令执行完,只是先把日志写到AOF文件的内存缓冲区,每隔1秒把缓冲区中的内容写入磁盘
no :操作系统控制的写回,每个写命令执行完,只是先把日志写到AOF文件的内存缓冲区,由操作系统决定何时将缓冲区内容写回磁盘

image

默认 everysec

开启aof

image

文件存放的路径

redis6
配置文件这么设置

dir /myredis

跟rdb同目录

/myredis/dump.rdb
/myredis/appendonly.aof

redis7,新增了个配置

appenddirname"appendonlymydir"

在rdb的目录下,建个目录

/myredis/dump.rdb
/myredis/appendonlymydir/xxx.aof

rdb和aof共同启用时

image

纯缓存模式

同时关闭rdb和aof

主从复制

主从复制,master以写为主,Slave以读为主。

当master数据变化的时候,自动将新的数据异步同步到其它slave数据库。

示例

一主两从:
image

主从的配置,只需要配置从库的配置文件,设置主库的IP和端口号,如果主库设置了密码(requirepass),那么从库需要设置masterauth 主库密码

replicaof 192.168.1.100 6379

#masterauth 主库密码

还有第二种方式配置主从复制,某个redis想要变为某个主库的从库,那么在运行期间,进入服务端的命令行页面执行下面的命令,会变为某个主库的从库。要注意,该命令只是临时的,shutdown后就不再是从库了,要改配置才是真正的从库。另外,由于变为某个主库的从库会全量同步主库的数据,就算shutdown后再启动,从库里还是有主库的数据
,但是如果没有配置持久化的话,那么就没有了。

slaveof 主库IP 主库端口

成为从库的redis里的数据全是主库的备份数据,之前有什么数据都不管了,都丢失了,就是说不管是一开始作为从库,还是中途作为从库。

从库中途挂掉后,主库一直再写,从库再次启动恢复,会同步主库里的新数据的。

从上面可以得出,从库就是主库的全量数据的备份。

主库挂了后,从库会一直在等待主库的恢复的。

命令info replication,可以查看节点的主从关系和配置信息,进入主机或者从机的命令行界面,输入该命令即可看到,本机是主机还是从机,如果是主机的话,还能看到自己下面有哪些从机,还可以可以看到很多的主从复制的信息,不列举了。

薪火相传

为了减轻主库的压力,可以使其中一个从库(6381)变为另一个从库的从库(6380),但是6380依旧是从库,目的是让6381从6380那里同步数据,而不是从主库(6379)那。
执行命令,slaveof IP 端口即可
image

主从复制的原理和流程

第一次之全量同步

Replicationld:简称replid,是数据集的标记。每一个master都有唯一的replid,slave变为某maseter的从库后,会继承master节点的replid,即slave上的replid会变为master的replid。
第一阶段,某个redis要变为slave,接着给master发psync命令,master会生成rdb,并且在生成rdb的期间,很有可能会执行增删改的命令,master会保存这些命令到repl_baklog(内存缓冲区来的)中,最后把repl_baklog和rdb发给slave,作数据同步
image

offset:偏移量,用来记录repl_baklog增加到了哪里。
随着记录在repl_baklog中的数据增多而逐渐增大。slave完成同步时也会记录当前同步的offset。如果slave的offset小于master的offset,说明slave数据落后于master,需要更新。

repl_baklog,其实是个环形数组。master的offset记的是,我这台主机写到哪,slave的offset,记的是从机跟到哪。
image

增量同步

从机挂了,重新启动,replid
image

如果从机挂太久了,就会跟不上,就要再次全量同步
image

优化点

1.在master中配置repl-diskless-syncyes启用无磁盘复制,避免全量同步时的磁盘iO,就是说同步阶段,不生成rdb了,直接把要写入rdb的数据,改为写到网卡里传输。

2.适当提高repl_baklog的大小,发现slave岩机时尽快实现故障恢复,尽可能避免全量同步。

3.限制一个master上的slave节点数量,如果实在是太多slave,则可以采用主-从-从链式结构(薪火相传),减少master压力。
image

哨兵模式

Redis提供了哨兵(Sentinel)机制来实现主从集群的自动故障恢复。哨兵其实也是个redis,只不过不是用来存取数据,就是启动的时候,按照哨兵模式启动,那么redis就变成了哨兵,像个吹哨人。

哨兵的结构和作用如下:

1.监控:Sentinel会不断检查master和slave 是否按预期工作

2.自动故障恢复:如果master故障,Sentinel会将一个slave提升为master。当故障实例恢复后也以新的master为主

3.通知:Sentinel充当Redis客户端的服务发现来源,当集群发生故障转移时,会将最新信息推送给Redis的客户端
image

哨兵原理

Sentinel基于心跳机制监测服务状态,每隔1秒向集群的每个实例发送ping命令:

主观下线:如果某sentinel节点发现某实例未在规定时间响应,则认为该实例主观下线。

客观下线:若超过指定数量(quorum)的sentinel都认为该实例主观下线,则该实例客观下线。quorum值最好超
过Sentinel实例数量的一半。
image

选择master的依据

一旦发现master故障,sentinel需要在salve中选择一个作为新的master,选择依据是这样的:

1.首先会判断slave节点与master节点断开时间长短,如果超过指定值(down-after-milliseconds*10)则会排除该 slave节点

2.然后判断slave节点的slave-priority值,越小优先级越高,如果是0,则永不参与选举·如果slave-prority一样,则判断slave节点的offset值,越大说明数据越新,优先级越高

3.最后是判断slave节点的运行id大小,越小优先级越高。运行id是随机生成的,都到最后一步了,其实选哪个都一样。

故障转移

当选中了其中一个slave为新的master后(例如slave1),故障的转移的步骤如下:

1.sentinel给备选的slave1节点发送slaveof no one命令,让该节点成为master

2.sentinel给所有其它slave发送slaveof 192.168.150.101 7002 命令,让这些slave成为新master的从节点,开始从新的master上同步数据。

3.最后,sentinel将故障节点标记为slave,当故障节点恢复后会自动成为新的master的slave节点
image

配置

用三台机器作示例,每台机器上弄个配置,如下所示,记得要换本机ip和端口。
在/tmp/s目录创建一个sentinel.conf文件,添加下面的内容:

port 27001 #本机端口
sentinel announce-ip 192.168.150.101 #本机Sentinel的ip
sentinel monitor mymaster 192.168.150.101 7001 2 #要监控的主机
sentinel down-after-milliseconds mymaster 5000
sentinel failover-timeout mymaster 6000
dir "/tmp/s"
  • sentinel monitor mymaster 192.168.150.101 7001 2:指定主节点信息
    • mymaster:master名称,自定义,任意写
    • 192.168.150.101 7001:主节点的ip和端口
    • 2:选举master时的quorum值
  • 只需要监控主机,因为通过监控主机即可获得从机的信息,info replication

redisTemplate的配置项

spring: 
   redis:
     sentinel:
        master:mymaster#指定master名称 
        nodes:#指定redis-sentinel集群信息
           -192.168.150.101:27001
           -192.168.150.101:27002
           -192.168.150.101:27003

配置好后,哨兵会发主机和从机的IP和端口给客户端,客户端就可以用了

代码里配置主从读写分离

@Bean
public LettuceClientConfigurationBuilderCustomizer configurationBuilderCustomizer(){
    return configBuilder-> configBuilder.readFrom(ReadFrom.REPLICA_PREFERRED);}

这里的ReadFrom是配置Redis的读取策略,是一个枚举,包括下面选择:

MASTER:从主节点读

MASTER_PREFERRED:优先从master节点读,master不可用才读replica

REPLICA:从slave(replica)节点读

REPLICA_PREFERRED:优先从slave(replica)节点读,所有的slave都不可用才读master

分片集群

集群中有多个master,每个master保存不同数据。

每个master都可以有多个slave节点。

master之间通过ping监测彼此健康状态。

客户端请求可以访问集群任意节点,最终都会被转发到正确节点。
image

举例说明

数据key不是与节点绑定,而是与插槽绑定。redis会根据key的有效部分计算插槽值,分两种情况:

  • key中包含"0",且“0”中至少包含1个字符,“0}”中的部分是有效部分
  • key中不包含“{”,整个key都是有效部分

例如:key是num,那么就根据num计算,如果是{itcast}num,则根据itcast计算。计算方式是利用cRC16算法得到一个hash值,然后对16384取余,得到的结果就是slot值。

M:f5fc58defbebb957e47fb0d8327a09dc4f1678f5 192.168.150.101:7001 
slots:[0-5460] (5461 slots) master
M:afaaa70d6528fc72490e0f3f7b32731a12c12bb8 192.168.150.101:7002
slots:[5461-10922](5462 slots) master
M:1c00e5f9e158b169f199f15884ab43bc433b1a06 192.168.150.101:7003
slots:[10923-16383] (5461 slots) master

将同一类数据固定的保存在同一个Redis实例的方法,即,这一类数据使用相同的有效部分,例如key都以{typeld}为前缀

posted @ 2026-10-16 10:52  dvdhellohaha  阅读(9)  评论(0)    收藏  举报