Redis拾遗（四）

持久化：

  1. RDB：把当前进程数据生成快照保存到硬盘，出发RDB持久化过程分为手动和自动；
    1. 手动触发：
      • save命令，会阻塞当前Redis服务器，知道RDB过程完成为止（基本废弃）
      • bgsave命令，Redis进程执行fork操作创建子进程，RDB持久化由子进程负责。阻塞只发生在fork阶段，时间很短。
    2. 自动触发：
      • 使用save相关配置，会按配置自动触发bgsave
      • 如果从节点执行全量复制，主节点自动执行bgsave并发送给从节点。
      • 执行debug reload重新加载redis时，也会自动触发save操作。
      • 默认情况执行shutdown时，如果没有开启AOF持久化，则自动执行bgsave。
    3. 优点：
      • 压缩紧凑
      • 加速恢复数据远快于AOF
    4. 缺点：
      • 没法实时持久化，bgsave属于重量级操作，成本高
      • 新旧版本兼容问题
  2. AOF：以独立日志方式记录每次写命令，重启时重新执行AOF中的命令达到数据恢复，属于持久化的主流方式
    1. 过程：
      1. 所有写入命令都会追加到aof_buf缓冲区内。
      2. AOF缓冲区根据对应的策略向硬盘做同步操作。
      3. 随着AOF文件越来越大，需要定期对AOF文件重写，达到压缩的目的
      4. 当Redis服务器重启时，可以加载AOF文件进行数据恢复。
    2. 同步文件策略：everysec（建议的配置）每秒同步一次数据，即使宕机，也会只损失1s的数据。
    3. 重写机制：将超时的命令剔除；无效命令剔除；多条命令合并。降低空间，加速加载。也分自动触发和手动触发。不在此赘述。
    3. 　　
  3. Redis重启时优先加载AOF如果没有的话加载RDB
  4. 问题优化：
    1. fork操作：fork创建子进程会复制父进程的空间内存页表，fork操作的耗时与Redis进程内存息息相关。
    2. 子进程开销优化：CPU密集操作，不要和其他CPU密集服务部署爱一起，造成竞争。避免在大量写入时做子进程重写操作，将导致父进程维护大量页副本，造成内存消耗。
  5. 多实例部署：保证机器内每个Redis实例AOF重写串行化执行。

复制：

  1. 目的：解决单点问题，满足故障恢复和负载均衡的要求
  2. 配置：
    1. 在配置文件中加入slaveof{masterHost} {masterPort}随Redis启动生效；
    2. 在redis-server启动命令后加入--slaveof {masterHost} {masterPort}生效；
    3. 直接使用命令：slaveof{masterHost} {masterPort}生效；
  3. 查看复制状态信息：info replication
  4. 断开复制：
    1. 在从节点上执行slaveof no one断开与主节点复制关系，从节点晋升为主节点。
    2. 从节点断开复制后并不会抛弃原有数据，只是无法再获取主节点上的数据变化。
    3. slaveof 还可以切换从节点的主节点，流程如下：1、断开与旧主节点复制关系；2、与新主节点简历复制关系；3、删除从节点当前所有数据；4、对新主节点进行复制操作；
  5. 安全性：数据比较重要的节点，主节点可以通过设置requirepass参数进行密码验证，这时所有客户端访问必须使用auth命令实行校验。
  6. 只读：默认情况下从节点使用slave-read-only=yes配置为只读模式，由于复制是从主到从，对从节点任何修改主节点无法感知到，修改从节点会造成主从数据不一致。
  7. 传输延迟：可以通过配置repl-disable-tcp-nodelay参数来控制是否关闭TCP_NODELAY，默认关闭。
  8. 拓扑结构：
    1. 一主一从：当应用写命令并发量较高且需要持久化，可以只在从节点开启AOF功能。要注意主节点脱机避免自动重启操作，因为主节点没有开启持久化功能，自动重启后数据集为空，这时从节点如果继续复制主节点会导致从节点数据也被情况，从而丧失了持久化的意义。安全的做法是在从节点执行slaveof no one 断开与主节点的复制关系型，再重启主节点。
    2. 一主多从：可以利用多个从节点实现读写分离，对于读占比较大场景，可以把读命令发到从节点分担主节点压力。一些耗时操作也可以分到其中一台从节点执行。对于写并发量较高的场景，多个从节点会导致主节点写命令多次发送消耗网络带宽，家中主节点负载影响服务稳定性。
    3. 树形结构：当主节点需要挂多个从节点时为了避免对主节点的性能干扰，可以采用树形结构。
  9. 原理：
    1. 保存主节点信息；
    2. 主从建立socket连接
    3. 发送ping命令；
    4. 权限验证；
    5. 同步数据集；
    6. 命令持续复制；
  10. Redis主从节点都会维护自己的复制偏移量文件，主节点也存在复制缓冲区，为部分复制提供支持。缓冲区也保证了主从数据的一致性。
posted @ 2018-09-27 22:31  fly。  阅读(174)  评论(0)    收藏  举报