Redis持久化

为什么要持久化？

Redis是内存数据库，如果不将内存中的数据库状态保存到磁盘，那么一旦服务器进程退出，服务器中的数据库状态也会消失。所以redis提供了持久化功能。

1.RDB（Redis Database）

在主从复制中，rdb就是备用的！在从机上面

1.1rdb概念：

rdb的相关配置是在Redis.conf中快照的那个板块中去配置的。它表示在指定时间间隔内将内存中的数据集写入磁盘，也就是Snapshot快照，要使用已经持久

化的数据的时候就将文件直接读到内存里。

1.2rdb原理：

 

 

 

Redis会单独创建（fork）一个子进程来进行持久化，会先将数据写入到
一个临时文件中，待持久化过程都结束了，再用这个临时文件替换上次持久化好的文件。
整个过程中，主进程是不进行任何IO操作的，这就确保了极高的性能


如果需要进行大规模数据的恢复，且对于数据恢复的完整性不是非常敏感，那RDB方
式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失。

在一定间隔时间做一次备份，所以如果redis意外down掉的话，就会丢失最后一次快照后的所有修改

RDB保存的文件是dump.rdb都是在我们配置文件中的快照中进行配置的

 

 

 1.3 更改一些rdb的配置

 

这里也就是我们在60s内去操作5次key那么就会持久化保存

 

 alt+w保存，我们去实践以下

 

 

 

 

 

 

 

现在我们去退出这个线程，来测试以下重新进去的时候是不是可以读到我们刚刚持久化的东西

 

 

现在再开启

 

 

 

 

 

 发现是可以get到我们的k1的

同时在我们去执行flushall的时候会默认产生一个dump.rdb文件，这里就不去测试了

1.4 rdb的触发规则

  1. save规则满足的情况下，会自动触发rdb规则

  2. 执行flushall命令也会触发rdb规则

  3. 退出redis，也会产生rdb

备份就自动生成dump.rdb

 1.5恢复rdb文件

  1. 只需要将rdb文件放在redis的启动目录下就可以了，redis启动的时候会自动检查dump.rdb文件恢复

  2. 查看需要存在的位置

 

 

 

1.5 rdb的优缺点

优点：

  1. 适合大规模的数据恢复！dump.rdb，因为它是完全独立于主线程的，主线程宕机了，你恢复以下这个dump.rdb就可以了，也就是重启一下就能恢复

  2. 如果对数据完整性不高！

缺点：

  1. 需要一定的时间间隔进行操作，如果redis意外宕机了，那么最后一次修改的数据就没有了

  2. fork进程的时候会占用一定的内存空间

2.AOF（Append Only File 追加文件的意思）

2.1 AOF的概念和原理

说白了就是将我们的所有命令都记录下来，history，恢复的时候把这个文件全部再执行一遍，就是所有写操作都会保存，读的时候从头到尾读

img

 以日志的形式来记录每个写的操作，将Redis执行过的所有指令记录下来（读操作不记录），只许追加文件，但是不可以改写文件，redis启动之初会读取该文件重新构建数据，换言之，redis重启的话就根据日志文件的内容将写指令从签到后执行一次以完成数据的恢复工作

 

2.2 更改一些AOF的配置

 

 其他的配置一般不需要更改

 

 重启一下

 

 

 

 再去看一下有没有生成文件

 

 发现只生成dump.rdb没有生成appendonly.aof

解决方法：

 

 再次查看

 

扩展：

  • redis-cli config set save ""

这个命令用于关闭 RDB 功能。 这一步是可选的， 如果你愿意的话， 也可以同时使用 RDB 和 AOF 这两种持久化功能。

 

 vim appendonly。aof

打开它这个文件可以看到：

 

综上可以看到不同于rdb。rdb打开我们是看不懂的，aof它其实就是一个日志。

 也就是说它把我们所有的数据都变成一个文件，我们可以去破坏这个文件，那么我们如何修复这个文件呢？

2.3修复appendonly.aof

如果这个aof文件有错位，这时候redis是启动不起来的，我们需要修复这个aof文件

redis给我们提供了redis-check-aof --fix appendonly.aof来进行appendonly.aof的修复

如果文件正常，重启就可以直接恢复了。

 

 

2.4 AOF优点和缺点

优点：

  1. 每一次修改都同步，文件完整性更加好

  2. 每同步一次，可能会丢失一秒的数据

  3. 从不同步

缺点：

  1. 相对于数据文件来说，aof远远大于rdb，修复速度也比rdb慢

  2. AOF运行效率也要比rdb慢，redis默认的配置就是rdb持久化

重写规则说明

如果aof文件大于64MB，就会fork一个新的进程来将我们文件进行重写

aof默认就是文件的无限追加，文件会越来越大

扩展：

Redis 持久化

Redis 提供了不同级别的持久化方式:

  • RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储.

  • AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF命令以redis协议追加保存每次写的操作到文件末尾.Redis还能对AOF文件进行后台重写,使得AOF文件的体积不至于过大.

  • 如果你只希望你的数据在服务器运行的时候存在,你也可以不使用任何持久化方式.

  • 你也可以同时开启两种持久化方式, 在这种情况下, 当redis重启的时候会优先载入AOF文件来恢复原始的数据,因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整.

  • 最重要的事情是了解RDB和AOF持久化方式的不同,让我们以RDB持久化方式开始:

RDB的优点

  • RDB是一个非常紧凑的文件,它保存了某个时间点得数据集,非常适用于数据集的备份,比如你可以在每个小时报保存一下过去24小时内的数据,同时每天保存过去30天的数据,这样即使出了问题你也可以根据需求恢复到不同版本的数据集.

  • RDB是一个紧凑的单一文件,很方便传送到另一个远端数据中心或者亚马逊的S3（可能加密），非常适用于灾难恢复.

  • RDB在保存RDB文件时父进程唯一需要做的就是fork出一个子进程,接下来的工作全部由子进程来做，父进程不需要再做其他IO操作，所以RDB持久化方式可以最大化redis的性能.

  • 与AOF相比,在恢复大的数据集的时候，RDB方式会更快一些.

  • RDB的缺点

  • 如果你希望在redis意外停止工作（例如电源中断）的情况下丢失的数据最少的话，那么RDB不适合你.虽然你可以配置不同的save时间点(例如每隔5分钟并且对数据集有100个写的操作),是Redis要完整的保存整个数据集是一个比较繁重的工作,你通常会每隔5分钟或者更久做一次完整的保存,万一在Redis意外宕机,你可能会丢失几分钟的数据.

  • RDB 需要经常fork子进程来保存数据集到硬盘上,当数据集比较大的时候,fork的过程是非常耗时的,可能会导致Redis在一些毫秒级内不能响应客户端的请求.如果数据集巨大并且CPU性能不是很好的情况下,这种情况会持续1秒,AOF也需要fork,但是你可以调节重写日志文件的频率来提高数据集的耐久度.

  • AOF 优点

  • 使用AOF 会让你的Redis更加耐久: 你可以使用不同的fsync策略：无fsync,每秒fsync,每次写的时候fsync.使用默认的每秒fsync策略,Redis的性能依然很好(fsync是由后台线程进行处理的,主线程会尽力处理客户端请求),一旦出现故障，你最多丢失1秒的数据.

  • AOF文件是一个只进行追加的日志文件,所以不需要写入seek,即使由于某些原因(磁盘空间已满，写的过程中宕机等等)未执行完整的写入命令,你也也可使用redis-check-aof工具修复这些问题.

  • Redis 可以在 AOF 文件体积变得过大时，自动地在后台对 AOF 进行重写： 重写后的新 AOF 文件包含了恢复当前数据集所需的最小命令集合。 整个重写操作是绝对安全的，因为 Redis 在创建新 AOF 文件的过程中，会继续将命令追加到现有的 AOF 文件里面，即使重写过程中发生停机，现有的 AOF 文件也不会丢失。 而一旦新 AOF 文件创建完毕，Redis 就会从旧 AOF 文件切换到新 AOF 文件，并开始对新 AOF 文件进行追加操作。

  • AOF 文件有序地保存了对数据库执行的所有写入操作， 这些写入操作以 Redis 协议的格式保存， 因此 AOF 文件的内容非常容易被人读懂， 对文件进行分析（parse）也很轻松。 导出（export） AOF 文件也非常简单： 举个例子， 如果你不小心执行了 FLUSHALL 命令， 但只要 AOF 文件未被重写， 那么只要停止服务器， 移除 AOF 文件末尾的 FLUSHALL 命令， 并重启 Redis ， 就可以将数据集恢复到 FLUSHALL 执行之前的状态。

  • AOF 缺点

  • 对于相同的数据集来说，AOF 文件的体积通常要大于 RDB 文件的体积。

  • 根据所使用的 fsync 策略，AOF 的速度可能会慢于 RDB 。 在一般情况下， 每秒 fsync 的性能依然非常高， 而关闭 fsync 可以让 AOF 的速度和 RDB 一样快， 即使在高负荷之下也是如此。 不过在处理巨大的写入载入时，RDB 可以提供更有保证的最大延迟时间（latency）。

posted @ 2021-01-16 18:20  Yaoyaoo  阅读(75)  评论(0)    收藏  举报