Redis持久化存储与复制功能简述

一、分布式系统基础理论

  分布式系统的两个基础理论:

1.CAP理论

如图:

Consistency(强一致性):数据一致更新,所有数据变动都是同步的。
Availability(可用性):好的响应性能。
Partition tolerance(分区容忍性):可靠性。

  在CAP理论中,任何分布式系统都只能满足以上三个条件中的两个。

2.BASE理论

BA:基本可用。基本可用是指分布式系统在出现故障的时候,允许损失部分可用性,即保证核心可用。

S:软状态。软状态是指允许系统存在中间状态,而该中间状态不会影响系统整体可用性。分布式存储中一般一份数据至少会有三个副本,允许不同节点间副本同步的延时就是软状态的体现。如主从复制的状态。

E:最终一致性。最终一致性是指系统中的所有数据副本经过一定时间后,最终能够达到一致的状态。弱一致性和强一致性相反,最终一致性是弱一致性的一种特殊情况。

二、Redis运行和维护时常用的配置

1.Redis的配置介绍

配置段:

INCLUDES:配置文件模块化
NETWORK:网络相关配置
GENERAL:通用配制
SNAPSHOTTING:快照持久功能配置
REPLICATION:主从同步复制配置
SECURITY:安全相关配置
LIMITS:资源相关配置
APPEND ONLY MODE:
LUA SCRIPTING:
REDIS CLUSTER:Redis集群相关配置
SLOW LOG:慢查询日志配置
LATENCY MONITOR:延迟监控
EVENT NOTIFICATION:事件配置
ADVANCED CONFIG:

2.GENERAL配置段中常用的配置阐述

1. supervised :如果用upstart或systemd运行Redis时可以配置此项,一般设置为 no 

3.NETWORK配置段中常用的配置阐述

1. bind :配置监听地址,建议在iptables中就设置访问策略,且在Redis中配置认证。

2. protected-mode :避免Redis完全暴露在互联网上。当没有设置监听地址且没有配置密码时此项开启才会生效。

3. port :监听端口。

4. tcp-bocklog :

5. unixsocket /tmp/redis.sock :若本地连接可使用socket。

6. timeout :客户端连接空闲超时连接。

7. tcp-keepalive :tcp保持连接

4.SECURITY配置段常用配置

1. requirepass :添加验证密码

2. rename-command :修改CONFIG名,在AOF、Replication环境中不建议使用。

5.LIMITS配置段相关配置

1. maxclients :最大并发连接数,默认为10000.

2. maxmemory :最大使用内存。

3. maxmemory-policy :当内存使用达到最大值后做出如何的处理。默认为noeviction。

6.SLOW LOG配置段相关配置

1. slowlog-log-slow-than :查询市场高于此值时启动慢查询。

2. slowlog-max-len :慢查询最大长度

7.ADVANCED CONFIG配置段相关配置

1. hash-max-ziplist-entries :hash数组最多允许成员数。

2. hash-max-ziplist-value :每一成员最大值不得超过的字节数。

3. list-max-ziplist-size :限制list类型最大长度。

4. client-output-buffer-limit normal :常规客户端一侧输出缓冲区的大小。

5. client-output-buffer-limit slave :从服务器客户端一侧输出缓冲区的大小。

6. client-output-buffer-limit pubsub :订阅服务器客户端一侧输出缓冲区的大小。

  例: client-output-buffer-limit normal 256mb 64mb 60 

8.CONFIG命令介绍

  CONFIG命令可在Redis运行时修改配置,不用重启服务便能生效。

 CONFIG GET :获取

 CONFIG SET :设置

 CONFIG REWRITE :将内存中的配置重写至(覆盖)配置。

 CONFIG RESETSTAT :重置计数器。

三、Redis持久化

  为了避免像Memcached那样一旦服务器重启数据便会丢失的情况,Redis会对内存中的数据做持久化,将内存中的数据同步至磁盘。Redis持久化机制的目的仅仅是为了将内存的数据存储至磁盘,而不是基于磁盘的数据进行服务,Redis所提供的数据服务只能是基于内存的。

1.RDB

  RDB是基于快照进行的持久化,按事先定制的策略,周期性地将数据从内存同步至磁盘。也可以用命令 SAVE 和 BGSAVE 手动启动快照功能,SAVE会在主线程中保存快照,此时会阻塞所有客户端请求,是同步的;而BGSAVE则是在后台完成快照,不会影响主线程,是异步的。Redis默认的持久化机制是RDB。

  RDB相关的配置示:

 save :配置触发快照条件

 

1 save 900 1 #在过去的900秒钟有1个键发生变化就会触发快照功能。
2 save 300 10 #在过去的300秒钟有10个键发生变化就会触发快照功能。
3 save 60 10000 #在过去的60秒钟有10000个键发生变化就会触发快照功能。

 stop-writes-on-bgsave-error :dump操作出现错误时,是否禁止新的写入操作请求。

 rdbcompression :对快照是否进行压缩。

 rdbchecksum :是否对快照文件进行校验。

 dbfilename :配置备份的快照文件名。

 dir :快照文件的路径。

2.AOF

  AOF(Append Only File),类似于MySQL中的二进制日志进行的持久化,记录每次写操作至指定的文件尾部实现的持久化。当redis重启时,可通过重新执行文件中的命令在内存中重建出数据库。效率会低于RDB。

  AOF相关的配置:

 appendonly :是否启用AOF功能。

 appendfsync :配置同步规则,可以按每秒,或者按每语句。

 no-appendfsync-on-rewrite :是否在后台执行aof重写期间不调用fsync,默认为no,表示调用。

 auto-aof-rewrite-percentage 100 & auto-aof-rewrite-min-size 64mb :这两个两个条件同时满足时,方会触发重写AOF;与上次aof文件大小相比,其增长量超过100%,且大小不少于64MB。

  注:持久机制本身不能取代备份;应该制订备份策略,对redis库定期备份。

四、Redis主从复制

  Redis 的复制 (replication) 是一种使用和配置起来非常简单的主从(master-slave)复制,允许 Redis 从服务器成为主服务器的精确副本。一个Master可以有多个slave主机,支持链式复制;Master以非阻塞方式同步数据至slave主机。快照同步方式:

  

  配置slave节点:

1 redis-cli> SLAVEOF <MASTER_IP> <MASTER_PORT> #在从节点配置主节点的地址和端口
2 redis-cli> CONFIG SET masterauth <PASSWORD> #若主节点开启器了认证功能,则在从节点配置认证密码。

  也可在配置文件中的REPLICATION配置段进行配置:

 slaveof :在从节点配置主节点地址和端口。

 masterauth :认证

 epl-diskless-sync :Diskless,主节点直接通过快照进行复制至从节点;Disk-backend,主节点新创建快照文件于磁盘中,而后将其发送给从节点,默认为no。

 repl-timeout :复制超时时间。

 slave-priority :从节点优先级。

 五、Sentinel

  Sentinel是一个"监视器",根据被监视实例的身份和状态来判断该执行何种操作。通过给定的配置文件来发现主服务器的,再通过向主服务器发送的info信息来发现该主服务器的从服务器。Sentinel 实际上就是一个运行在 Sentienl 模式下的 Redis 服务器。根据投票机制来实现当主节点故障时由谁来担当主节点。

  Sentinel是Redis自带的服务,可以直接用 redis-sentinel 来进行启动管理,Redis中有专门配置redis-sentinel的配置文件 /etc/redis-sentinel.conf 。

  Sentinel相关配置(注:所有节点的认证要相同):

1 port 26379
2 sentinel monitor <master-name> <ip> <redis-port> <quorum>
3 sentinel auth-pass <master-name> <password>
 <master-name> :配置要监控的主节点的标识符,可自己定义。
 <quorum> :票数
 <ip>:主节点IP
 <redis-port>:主节点端口

 sentinel down-after-milliseconds <master-name> <milliseconds> :监控到指定的集群的主节点异常状态持续多久方才将标记为“故障”。

 sentinel parallel-syncs <master-name> <numslaves> :指在failover过程中,能够被sentinel并行配置的从节点的数量。

 sentinel failover-timeout <master-name> <milliseconds> :sentinel必须在此指定的时长内完成故障转移操作,否则,将视为故障转移操作失败。

 sentinel notification-script <master-name> <script-path> :通知脚本,此脚本被自动传递多个参数。

Quorum机制:

  集群中有5个sentinel,票数被设置为2,当2个sentinel认为一个master已经不可用了以后,将会触发failover,但是,进行failover的那个sentinel必须先获得至少3个sentinel的授权才可以实行failover。

posted @ 2018-11-01 18:15  readygood  阅读(467)  评论(0编辑  收藏  举报