Day 61 redis发布订阅，redis持久化，redis主从同步,redis集群

>>>>>>>>>>redis发布订阅<<<<<<<<<<<<<<<

发布订阅命令

PUBLISH channel msg
    将信息 message 发送到指定的频道 channel

SUBSCRIBE channel [channel ...]
    订阅频道，可以同时订阅多个频道

UNSUBSCRIBE [channel ...]
    取消订阅指定的频道, 如果不指定频道，则会取消订阅所有频道

PSUBSCRIBE pattern [pattern ...]
    订阅一个或多个符合给定模式的频道，每个模式以 * 作为匹配符，比如 it* 匹配所    有以 it 开头的频道( it.news 、 it.blog 、 it.tweets 等等)，
 news.* 匹配所有    以 news. 开头的频道( news.it 、 news.global.today 等等)，诸如此类

PUNSUBSCRIBE [pattern [pattern ...]]
    退订指定的规则, 如果没有参数则会退订所有规则

PUBSUB subcommand [argument [argument ...]]
    查看订阅与发布系统状态
注意：使用发布订阅模式实现的消息队列，当有客户端订阅channel后只能收到后续发布到该频道的消息，之前发送的不会缓存，必须Provider和Consumer同时在线。

>>>>>>>>>>>redis数据持久化<<<<<<<<<<<<<<

一、RDB持久化（手动设置）

　　Redis是一种内存型数据库，一旦服务器进程退出，数据库的数据就会丢失，为了解决这个问题，Redis提供了两种RDB (Redis DataBase)和 AOF (Append Only File)持久化的方案，将内存中的数据保存到磁盘中，避免数据的丢失。

　　redis提供了RDB(Redis DataBase)持久化的功能，这个功能可以将redis在内存中的的状态保存到硬盘中，它可以手动执行。

也可以再redis.conf中配置，定期执行。

　　RDB持久化产生的RDB文件是一个经过压缩的二进制文件，这个文件被保存在硬盘中，redis可以通过这个文件还原数据库当时的状态。

RDB(持久化)
内存数据保存到磁盘
在指定的时间间隔内生成数据集的时间点快照（point-in-time snapshot）
优点：速度快，适合做备份，主从复制就是基于RDB持久化功能实现
rdb通过再redis中使用save命令触发 rdb
  1.基于内存的数据快照
  2.定期执行数据快照
  3.手动触发数据快照

rdb配置参数：

dir /data/6379/
dbfilename  dbmp.rdb

每过900秒 有1个操作就进行持久化

save 900秒  1个修改类的操作
save 300秒  10个操作
save 60秒  10000个操作

save  900 1
save 300 10
save 60  10000

1.redis服务端，准备配置文件

port 6379
daemonize yes
dir /data/6379                   # 定义持久化文件存储位置
pidfile /data/6379/redis.pid     # redis进程pid文件
loglevel notice                  # 日志级别
logfile "/data/6379/redis.log"   # redis日志log文件
protected-mode yes               # 保护模式
dbfilename  dbmp.rdb             # rdb持久化文件
#bind 10.0.0.10  127.0.0.1       # redis绑定地址
#requirepass redhat              # redis登录密码
save 900 1                       # rdb机制 每900秒 有1个修改记录
save 300 10                      # 每300秒        10个修改记录
save 60 10000                    # 每60秒内        10000修改记录

2.此时检查目录，/data/6379底下没有dbmp.rdb文件

3.启动redis：redis-server /opt/redis_conf/redis-6379.conf

　　　　　　 redis-cli

4.通过save触发持久化，将数据写入RDB文件

127.0.0.1:6379> set age 18
OK
127.0.0.1:6379> save
OK

注意: 由于这个dbmp.rdb文件是用来存储持久化数据的，理所当然如果被删除了的话，数据就会消失

二、redis持久化之AOF

AOF（append-only log file）
记录服务器执行的所有变更操作命令（例如set del等），并在服务器启动时，通过重新执行这些命令来还原数据集
AOF 文件中的命令全部以redis协议的格式保存，新命令追加到文件末尾。
优点：最大程度保证数据不丢失 (比RDB要好，因为RDB有可能丢失数据)
缺点：日志记录非常大

1.只需要/opt/redis_conf/redis-6379.conf加入两行配置, 启用AOF持久化功能

appendonly yes
appendfsync everysec

2.启动redis

redis-server /opt/redis-conf/redis-6379.conf
redis-cli

3.检查redis数据目录/data/6379/是否产生了aof文件

[root@web02 6379]# ls
appendonly.aof  dbmp.rdb  redis.log

4.登录redis-cli，写入数据，实时检查aof文件信息

[root@web02 6379]# tail -f appendonly.aof

三、redis持久化RDB转化AOF

redis 持久化方式有哪些？有什么区别？

rdb：基于快照的持久化，速度更快，一般用作备份，主从复制也是依赖于rdb持久化功能

aof：以追加的方式记录redis操作日志的文件。可以最大程度的保证redis数据安全，类似于mysql的binlog

>>>>>>>>redis主从同步<<<<<<<<<<<

原理：
1. 从服务器向主服务器发送 SYNC 命令。
2. 接到 SYNC 命令的主服务器会调用BGSAVE 命令，创建一个 RDB 文件，并使用缓冲区记录接下来执行的所有写命令。
3. 当主服务器执行完 BGSAVE 命令时，它会向从服务器发送 RDB 文件，而从服务器则会接收并载入这个文件。
4. 主服务器将缓冲区储存的所有写命令发送给从服务器执行。

-------------
1、在开启主从复制的时候，使用的是RDB方式的，同步主从数据的
2、同步开始之后，通过主库命令传播的方式，主动的复制方式实现
3、2.8以后实现PSYNC的机制，实现断线重连

redis主从同步实验

1 环境准备(一主两从:6380为主，6381,6382为从）

　　cd /opt/redis_conf

　　vim redis-6380.conf

port 6380
daemonize yes
pidfile /data/6380/redis.pid
loglevel notice
logfile "/data/6380/redis.log"
dbfilename dump.rdb
dir /data/6380
protected-mode no

　　再创建两个配置文件6381和6382

sed "s/6380/6381/g" redis-6380.conf > redis-6381.conf
sed "s/6380/6382/g" redis-6380.conf > redis-6382.conf

　　创建数据文件目录

[root@qishi666 redis_conf]# mkdir -p /data/6380
[root@qishi666 redis_conf]# mkdir -p /data/6381
[root@qishi666 redis_conf]# mkdir -p /data/6382

2.启动redis数据库(确保每个数据库的独立性)

[root@qishi666 redis_conf]# redis-server redis-6380.conf 
[root@qishi666 redis_conf]# redis-server redis-6381.conf 
[root@qishi666 redis_conf]# redis-server redis-6382.conf

3.给两个从服务器配置文件再添加一行配置(很重要)

在6381和6382配置文件添加这一行配置，表示指定主服务器为6380
slaveof 127.0.0.1 6380

4.重启数据库

pkill redis
redis-server /opt/redis_conf/redis-6380.conf
redis-server /opt/redis_conf/redis-6381.conf
redis-server /opt/redis_conf/redis-6382.conf

5.查看主从数据库状态

redis-cli -p 6380 info
redis-cli -p 6380 info replication
redis-cli -p 6381 info replication

6 添加数据进行测试

　　主数据库和从数据库一致

7 手动进行主从复制故障切换

（1）关闭6381从库身份

redis-cli -p 6381
127.0.0.1:6380> slaveof no one

（2）将6382设为6381的从库

6382连接到6381：
[root@db03 ~]# redis-cli -p 6382
127.0.0.1:6382> SLAVEOF no one
127.0.0.1:6382> SLAVEOF 127.0.0.1 6381

redis-cli -p -端口号 info

redis哨兵

sentinel主要功能如下：

不时的监控redis是否良好运行，如果节点不可达就会对节点进行下线标识
如果被标识的是主节点，sentinel就会和其他的sentinel节点“协商”，如果其他节点也人为主节点不可达，就会选举一个sentinel节点来完成自动故障转义
在master-slave进行切换后，master_redis.conf、slave_redis.conf和sentinel.conf的内容都会发生改变，即master_redis.conf中会多一行slaveof的配置，sentinel.conf的监控目标会随之调换

Redis Sentinel架构

1 配置三个redis数据库, 一主两从

　　跟上面的主从复制配置一致

redis-6380.conf
redis-6381.conf
redis-6382.conf

2 启动三个redis数据库，确保主从复制正常运行

redis-server redis-6380.conf
redis-server redis-6381.conf
redis-server redis-6382.conf

redis-cli -p 6380 info replication
redis-cli -p 6381 info replication
redis-cli -p 6382 info replication

3 配置三个哨兵

cd /opt/redis_conf
vim redis-26380.conf
vim redis-26381.conf
vim redis-26382.conf

写入以下配置文件

port 26380
dir /var/redis/data/
logfile "26380.log"
sentinel monitor mymaster 127.0.0.1 6380 2
sentinel down-after-milliseconds mymaster 30000
sentinel parallel-syncs mymaster 1
sentinel failover-timeout mymaster 180000       
daemonize yes

# Sentinel节点的端口
port 26379  
dir /var/redis/data/
logfile "26379.log"

# sentinel announce-ip 127.0.0.1   # 宣告哨兵IP, 此配置只有当使用非127.0.0.1的IP配置哨兵无法成功时加上，同时redis三个服务端也需要同步修改IP

# 当前Sentinel节点监控 127.0.0.1:6379 这个主节点
# 2代表判断主节点失败至少需要2个Sentinel节点节点同意
# mymaster是主节点的别名
sentinel monitor mymaster 127.0.0.1 6379 2

# 每个Sentinel节点都要定期PING命令来判断Redis数据节点和其余Sentinel节点是否可达，如果超过30000毫秒30s且没有回复，则判定不可达
sentinel down-after-milliseconds mymaster 30000

# 当Sentinel节点集合对主节点故障判定达成一致时，Sentinel领导者节点会做故障转移操作，选出新的主节点，原来的从节点会向新的主节点发起复制操作，限制每次向新的主节点发起复制操作的从节点个数为1
sentinel parallel-syncs mymaster 1

# 故障转移超时时间为180000毫秒
sentinel failover-timeout mymaster 180000

daemonize yes

配置详解

如果发现哨兵没有正常启动，必须把IP改为127.0.0.1

如果你是在三个不同的机器上，只能用机器对外访问的IP，那就需要添加这一个配置

sentinel announce-ip 127.0.0.1

4 启动哨兵

[root@qishi666 redis_conf]# redis-sentinel redis-26380.conf 
[root@qishi666 redis_conf]# redis-sentinel redis-26381.conf 
[root@qishi666 redis_conf]# redis-sentinel redis-26382.conf

5 此时查看哨兵是否成功通信

 redis-cli -p 26380 info sentinel

6 如果出现问题，没有配置成功，没有显示前面这几条配置成功的信息，就推倒重来

如果出现问题，没有配置成功，没有显示前面这几条配置成功的信息，就推倒重来

从配置主从同步开始做

7 验证redis高可用故障切换

大致思路

杀掉主节点的redis进程6380端口，观察从节点是否会进行新的master选举，进行切换

kill -9 端口号

重新恢复旧的“master”节点，查看此时的redis身份

redis-server /opt/redis_conf/redis-6380.conf

>>>>>>>>>>>>>>redis集群<<<<<<<<<<<<<<<<<<<

数据分布理论

分布式数据库首要解决把整个数据集按照分区规则映射到多个节点的问题，即把数据集划分到多个节点上，每个节点负责整个数据的一个子集。

常见的分区规则有哈希分区和顺序分区。Redis Cluster采用哈希分区规则，因此接下来会讨论哈希分区规则。

节点取余分区
一致性哈希分区
虚拟槽分区(redis-cluster采用的方式)

哈希分区

虚拟槽分区

Redis Cluster采用虚拟槽分区

虚拟槽分区巧妙地使用了哈希空间，使用分散度良好的哈希函数把所有的数据映射到一个固定范围内的整数集合，整数定义为槽（slot）。

Redis Cluster槽的范围是0～16383。

槽是集群内数据管理和迁移的基本单位。采用大范围的槽的主要目的是为了方便数据的拆分和集群的扩展，

每个节点负责一定数量的槽。

搭建redis cluster

搭建集群分为几部

准备节点（几匹马儿）
节点通信（几匹马儿分配主从）
分配槽位给节点（slot分配给马儿）

redis-cluster集群架构

多个服务端，负责读写，彼此通信，redis指定了16384个槽。

多匹马儿，负责运输数据，马儿分配16384个槽位，管理数据。

ruby的脚本自动就把分配槽位这事做了

redis集群配置

1.准备6个节点

cd /opt/jq
vim redis-7000.conf

写入配置

port 7000
daemonize yes
dir "/opt/redis/data"
logfile "7000.log"
dbfilename "dump-7000.rdb"
cluster-enabled yes

[root@qishi666 jq]# sed "s/7000/7001/g" redis-7000.conf > redis-7001.conf
[root@qishi666 jq]# sed "s/7000/7002/g" redis-7000.conf > redis-7002.conf
[root@qishi666 jq]# sed "s/7000/7003/g" redis-7000.conf > redis-7003.conf
[root@qishi666 jq]# sed "s/7000/7004/g" redis-7000.conf > redis-7004.conf
[root@qishi666 jq]# sed "s/7000/7005/g" redis-7000.conf > redis-7005.conf

2 启动这六个节点

cd /opt/jq
redis-server redis-7000.conf
redis-server redis-7001.conf
redis-server redis-7002.conf
redis-server redis-7003.conf
redis-server redis-7004.conf
redis-server redis-7005.conf

3 随便进入一个redis交互模式，写入数据，发现无法写入

报错，没有分配哈希槽

4 准备ruby环境，安装ruby并执行redis-trib.rb脚本

# 下载ruby
wget https://cache.ruby-lang.org/pub/ruby/2.3/ruby-2.3.1.tar.gz

# 安装ruby
tar -xvf ruby-2.3.1.tar.gz
./configure --prefix=/opt/ruby/
make && make install

# 配置ruby的环境变量
vim /etc/profile 
写入如下配置
PATH=$PATH:/opt/ruby/bin

source /etc/profile

# 准备一个ruby命令
# 准备一个gem软件包管理命令

　　wget http://rubygems.org/downloads/redis-3.3.0.gem

　　gem install -l redis-3.3.0.gem

# 拷贝ruby命令到path下/usr/local/ruby
cp /opt/ruby/bin/ruby /usr/local/
cp bin/gem /usr/local/bin

#查看gem有哪些包
gem list -- check redis gem

安装redis-trib.rb命令

[root@qishi666 jq]# find /opt -name redis-trib.rb
/opt/redis-4.0.10/src/redis-trib.rb
[root@qishi666 jq]# cp /opt/redis-4.0.10/src/redis-trib.rb /usr/local/bin/

5 一键开启redis-cluster集群

# 每个主节点，有一个从节点，代表--replicas 1
redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005

# 集群自动分配主从关系  7000、7001、7002为主 7003、7004、7005为从

6 查看集群状态

redis-cli -p 7000 cluster info  

redis-cli -p 7000 cluster nodes  #等同于查看nodes-7000.conf文件节点信息

集群主节点状态
redis-cli -p 7000 cluster nodes | grep master
集群从节点状态
redis-cli -p 7000 cluster nodes | grep slave

7 进入集群状态

redis-cli -p 7000 -c

登录集群必须使用redis-cli -c -p 7000必须加上-c参数

工作原理：

redis客户端任意访问一个redis实例，如果数据不在该实例中，通过重定向引导客户端访问所需要的redis实例

posted @ 2019-04-08 16:16 addit Views(136) Comments(0) 收藏举报

刷新页面返回顶部

addit

Day 61 redis发布订阅，redis持久化，redis主从同步,redis集群

>>>>>>>>>>redis发布订阅<<<<<<<<<<<<<<<

发布订阅命令

>>>>>>>>>>>redis数据持久化<<<<<<<<<<<<<<

一、RDB持久化（手动设置）

1.redis服务端，准备配置文件

2.此时检查目录，/data/6379底下没有dbmp.rdb文件

3.启动redis：redis-server /opt/redis_conf/redis-6379.conf

redis-cli

4.通过save触发持久化，将数据写入RDB文件

二、redis持久化之AOF

1.只需要/opt/redis_conf/redis-6379.conf加入两行配置, 启用AOF持久化功能

2.启动redis

3.检查redis数据目录/data/6379/是否产生了aof文件

4.登录redis-cli，写入数据，实时检查aof文件信息

三、redis持久化RDB转化AOF

>>>>>>>>redis主从同步<<<<<<<<<<<

redis主从同步实验

1 环境准备(一主两从:6380为主，6381,6382为从）

2.启动redis数据库(确保每个数据库的独立性)

3.给两个从服务器配置文件再添加一行配置(很重要)

4.重启数据库

5.查看主从数据库状态

6 添加数据进行测试

7 手动进行主从复制故障切换

redis哨兵

Redis Sentinel架构

1 配置三个redis数据库, 一主两从

2 启动三个redis数据库，确保主从复制正常运行

3 配置三个哨兵

4 启动哨兵

5 此时查看哨兵是否成功通信

6 如果出现问题，没有配置成功，没有显示前面这几条配置成功的信息，就推倒重来

如果出现问题，没有配置成功，没有显示前面这几条配置成功的信息，就推倒重来

7 验证redis高可用故障切换

>>>>>>>>>>>>>>redis集群<<<<<<<<<<<<<<<<<<<

数据分布理论

哈希分区

虚拟槽分区

搭建redis cluster

redis集群配置

1.准备6个节点

2 启动这六个节点

3 随便进入一个redis交互模式，写入数据，发现无法写入

4 准备ruby环境，安装ruby并执行redis-trib.rb脚本

安装redis-trib.rb命令

5 一键开启redis-cluster集群

6 查看集群状态

7 进入集群状态

公告

　　　　　　 redis-cli