Redis学习笔记(九)——集群

 一、概述

  Redis Cluster与Redis3.0.0同时发布,以此结束了Redis无官方集群方案的时代。

  Redis Cluster是去中心化,去中间件,也就是说,集群中的每个节点都是平等的关系,都是对等的,每个节点都保存各自的数据和整个集群的状态。每个节点都和其他所有节点连接,而且这些连接保持活跃,这样就保证了我们只需要连接集群中的任意一个节点,就可以获取到其他节点的数据。

  那么Redis是如何合理分配这些节点和数据呢?

  Redis集群并没有使用传统的一致性哈希来分配数据,而是采用另外一种叫做哈希槽(hash slot)的方式来分配的。Redis Cluster默认分配了16384个slot,当我们set一个key时,会用CRC16算法来取模得到所属的slot,然后将这个key分到哈希槽区间的节点上,具体算法就是:CRC16(key) % 16384。

  注意的是:必须要3个以上的主节点,否则在创建集群时会失败。

  所以,我们假设现在有3个节点已经组成了集群,分别是A、B、C三个节点,它们可以是一台机器上的三个端口,也可以是三台不同的服务器。那么采用哈希槽(hash slot)的方式来分配16384个slot的话,它们三个节点分别承担的slot区间是:

  节点A覆盖 0 - 5460;

  节点B覆盖 5461 - 10922;

  节点C覆盖 10923 - 16383;

  

  Redis Cluster主从模式:

  Redis Cluster为了保证数据的高可用性,加入了主从模式,一个主节点对应一个或多个从节点,主节点提供数据存取,从节点则是从主节点拉取数据备份,当这个主节点挂掉后,就会有这个从节点选取一个来当主节点,从而保证集群不会挂掉。

 

 

二、操作

  搭建集群需要的环境:

  目前我用的是CentOS 7的系统,所以安装Ruby的时候只有2.0.0的版本,会执行不成功;每个Linux系统版本都有差别,如果执行以下操作不成功,请自行百度解决。

 

  安装RVM:

  在该系统,如果我之间安装Ruby只有2.0.0版本,在执行 gem install redis 时,会提示:

  ERROR: Error installing redis:

  redis requires Ruby version >= 2.2.2.

  

  所以得安装RVM再安装2.2.2或以上的Ruby。

  安装命令:

  gpg2 --keyserver hkp://keys.gnupg.net --recv-keys D39DC0E3

  

 

  curl -L get.rvm.io | bash -s stable   

  

 

  source /usr/local/rvm/scripts/rvm

  查看RVM库已知的ruby版本

  rvm list known

  

 

  安装一个ruby版本(大于2.2.2),这里安装2.4.4

  rvm install 2.2.4

  

 

  使用ruby版本

  rvm use 2.4.4 --default

  

 

  卸载ruby2.0.0版本

  rvm remove 2.0.0

  

 

  安装redis

  gem install redis

  

 

 

  单机多节点集群实验

  1、Redis安装包里面有个集群工具,要复制到/usr/local/bin 里去

  

  

  2、修改配置,创建节点

  我们现在要搞六个节点,三主三从。

  端口规定分别为:7001、7002、7003、7004、7005、7006。

  我们先在 /usr/local/redis/ 目录下新建一个redis_cluster目录,然后再该目录下再创建6个目录,分别是7001、7002、7003、7004、7005、7006,用来存储redis配置文件:

  

 

  我们先复制一份配置文件到7001目录下

  

 

  我们回到7001目录,修改配置文件,修改以下几个参数:

  port 7001  // 六个节点配置文件分别是7001 - 7006

  daemonize yest  // redis后台运行

  pidfile /var/run/redis_7001.pid  // pidfile文件对应7001 - 7006

  cluster-enabled yes  // 开启集群

  cluster-config-file nodes_7001.conf  // 保存节点配置,自动创建,自动更新对应7001 - 7006

  cluster-node-timeout 5000  // 集群超时时间,节点超过这个时间没反应就断定宕机

  appendonly yes  // 存储方式,aof,将写操作记录保存到日志中

 

  修改port

  

 

  修改daemonize

  

 

  修改pidfile

  

 

  修改 cluster-enabled

  

 

  修改cluster-config-file

  

 

  修改cluster-node-timeout

  

 

  修改appendonly

  

 

  7001下的配置文件修改完保存后,我们将该配置文件分别复制到7002 - 7006中,然后对应的再修改配置即可,编辑后面5个配置文件,把 port ,pidfile,cluster-config-file 分别修改下即可(此操作简略);

  

 

  3、启动六个节点的redis

  

  查看redis进程:

  

  六个进程都启动成功了。

 

  4、创建集群

  Redis官方提供了redis-trib.rb 工具,第一步里已经拷贝到bin目录下;

  但是在使用之前,需要安装ruby,以及Redis和ruby连接(前面也有教程讲了安装了)

  创建集群:

  redis-trib.rb create --replicas 1 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006

  

   

  创建成功

  

  从运行结果看,主节点就是7001、7002、7003、从节点分别是7004、7005、7006

  7001分配到的哈希槽是 0 - 5460;

  7002分配到的哈希槽是 5461 - 10922;

  7003分配到的哈希槽是 10923 - 16383;

  最后问我们是否接受上面的设置,输入yes就表示接受,我们输入yes:

   

  显示配置哈希槽,以及集群创建成功,可以用了;

 

 

  也有可能会出现以下错误:

  

   出现该错误的解决方式:删除生产的配置文件nodes.conf,如果不行则说明现在创建的节点包括了旧集群的节点信息,需要删除redis的持久化文件后再重启redis,比如:appendonly.aof、dump.rdb

 

  4、集群数据测试

  我们先连接任意一个节点,然后添加一个key:

  redis-cli是默认redis的客户端工具,启动时加上 '-c' 参数, '-p' 指定端口,就可以连接到集群。

  连接任意一个节点端口:

  

 

  添加一个key

  

   Redis Cluster值分配规则,它会使用CRC16('value')%16384算法来计算,将这个key放到哪个节点,这里分配到5798slot就分配到了7002(5461 - 10922)这个节点上。

  我们从其他集群节点,都可以获取到数据:

  

 

posted @ 2018-09-12 17:58  何健亮  阅读(167)  评论(0编辑  收藏  举报