redis集群安装配置

Redis集群介绍

Redis 集群是一个提供在多个Redis间节点间共享数据的程序集。

Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误.

Redis 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下继续处理命令. Redis 集群的优势:

• 自动分割数据到不同的节点上。
• 整个集群的部分节点失败或者不可达的情况下能够继续处理命令。

redis节点安装及配置

相关环境

centos6.10 redis5.0+

安装

tar xf redis-5.0.5.tar.gz
cd redis-5.0.5
make 
cd src
make PREFIX=/web/soft/redis-bin install

配置文件

/web/soft/redis-6380/redis.conf

#绑定主机IP，默认值为127.0.0.1
bind 0.0.0.0
#要是配置里没有指定bind和密码,开启该参数后,redis只能本地进行访问,要是开启了密码和bind,可以开启.否则最好设置为no。
protected-mode yes
#端口号
port 6380
#和内核参数/proc/sys/net/core/somaxconn值一样,redis默认511,而内核默认值128,高并发场景将其增大,内核参数也增大
tcp-backlog 511
#客户端闲置多少秒后,断开连接为0,则服务端不会主动断开连接
timeout 0
#是否在后台执行
daemonize yes
supervised no
#redis进程文件
pidfile /web/soft/redis-6380/redis-6380.pid
#日志的级别,包括:debug,verbose,notice(默认适合生成环境),warn（只有非常重要的信息）
loglevel notice
#指定日志文件
logfile "/web/soft/redis-6380/redis-6380.log"
#数据库的数量,默认使用的数据库是DB 0,可以通过”SELECT “命令选择一个db
databases 16
 
# -------------------- SLOW LOG --------------------
#slog log是用来记录慢查询,执行时间比slowlog-log-slower-than大的请求记录到slowlog里面,1000000=1秒
slowlog-log-slower-than 1000000
 
#慢查询日志长度。当一个新的命令被写进日志的时候，最老的那个记录会被删掉。这个长度没有限制。只要有足够的内存就行。你可以通过 SLOWLOG RESET 来释放内存。
slowlog-max-len 128
 
# -------------------- rdb Persistence --------------------
#当有一条Keys数据被改变是，900秒刷新到disk一次
save 900 1
#当有10条Keys数据被改变时，300秒刷新到disk一次
save 300 10
#当有1w条keys数据被改变时，60秒刷新到disk一次
save 60 10000
#当RDB持久化出现错误后,是否依然进行继续进行工作
stop-writes-on-bgsave-error yes
#使用压缩rdb文件,压缩需要一些cpu的消耗,不压缩需要更多的磁盘空间
rdbcompression yes
##是否校验rdb文件,校验会有大概10%的性能损耗
#rdbchecksum yes
##rdb文件的名称
dbfilename dump.rdb
##数据目录,数据库的写入会在这个目录。rdb、aof文件也会写在这个目录
dir /web/soft/redis-6380/
# -------------------- AOF Persistence --------------------
#Append Only File是另一种持久化方式,可以提供更好的持久化特性.Redis会把每次写入的数据在接收后都写入 appendonly.aof 文件,每次启动时Redis都会先把这个文件的数据读入内存里,先忽略RDB文件
appendonly yes
#aof文件名
appendfilename "appendonly6380.aof"
#aof持久化策略,no表示不执行fsync,由操作系统保证数据同步到磁盘,速度最快.
#always表示每次写入都执行fsync,以保证数据同步到磁盘
#everysec表示每秒执行一次fsync,可能会导致丢失这1s数据
appendfsync everysec
#设置为yes表示rewrite期间对新写操作不fsync,暂时存在内存中,等rewrite完成后再写入,默认为no最安全,建议yes.Linux的默认fsync策略是30秒.可能丢失30秒数据.
no-appendfsync-on-rewrite no
#aof自动重写配置,前AOF文件大小是上次AOF文件大小的二倍（设置为100）时,自动启动新的日志重写过程
auto-aof-rewrite-percentage 100
#设置允许重写的最小aof文件大小，避免了达到约定百分比但尺寸仍然很小的情况还要重写
auto-aof-rewrite-min-size 64mb
#aof文件可能在尾部是不完整的,如果选择的是yes,当截断的aof文件被导入的时候,会自动发布一个log给客户端然后load
aof-load-truncated yes
# 如果达到最大时间限制（毫秒），redis会记个log，然后返回error。当一个脚本超过了最大时限。只有SCRIPT KILL和SHUTDOWN NOSAVE可以用。第一个可以杀没有调write命令的东西。要是已经调用了write，只能用第二个命令杀。
lua-time-limit 5000
 
# -------------------- REDIS CLUSTER --------------------
##集群开关，默认是不开启集群模式。
cluster-enabled yes
 
#集群配置文件的名称，每个节点都有一个集群相关的配置文件，持久化保存集群的信息。这个文件并不需要手动配置，这个配置文件有Redis生成并更新，每个Redis集群节点需要一个单独的配置文件，请确保与实例运行的系统中配置文件名称不冲突
cluster-config-file /web/soft/redis-6380/nodes-6380.conf
 
#节点互连超时的阀值。集群节点超时毫秒数
cluster-node-timeout 5000
 
#在进行故障转移的时候，全部slave都会请求申请为master，但是有些slave可能与master断开连接一段时间了，导致数据过于陈旧，这样的slave不应该被提升为master。
##如果节点超时时间为三十秒, 并且slave-validity-factor为10,假设默认的repl-ping-slave-period是10秒，即如果超过310秒slave将不会尝试进行故障转移 
cluster-slave-validity-factor 10
 
#当某个主节点的从节点挂掉裸奔后,会从其他富余的主节点分配一个从节点过来，确保每个主节点都有至少一个从节点
#分配后仍然剩余migration barrier个从节点的主节点才会触发节点分配,默认是1,生产环境建议维持默认值,这样才能最大可能的确保集群稳定
cluster-migration-barrier 1

一共配置6个节点 6380-6385

依次启动redis节点

redis-server  /web/soft/redis-6380/redis.conf  #redis节点配置文件
redis-server  /web/soft/redis-6381/redis.conf
redis-server  /web/soft/redis-6382/redis.conf
redis-server  /web/soft/redis-6383/redis.conf
redis-server  /web/soft/redis-6384/redis.conf
redis-server  /web/soft/redis-6385/redis.conf

防火墙端口放通

确保开放端口，每个redis实例都需要2个TCP端口，其一为服务于客户端的port，通常为6379；另外一个为“Redis Cluster bus”端口，此值为客户端port + 10000，假如客户端port为6379，那么bus端口即为16379，此端口我们无法通过配置来设定。（因为server的最大端口号为65535，所以客户端port不要设置的太大），如果开了防火墙，需要设置iptables开放上面所有端口。Server2步骤和Server1一样

创建集群

/usr/local/redis/bin/redis-cli  --cluster-replicas 1 --cluster create  172.16.44.18:6380 172.16.44.18:6381  172.16.44.18:6382 172.16.44.18:6383 172.16.44.18:6384 172.16.44.18:6385

测试集群

检查状态

./redis-cli --cluster check 172.16.44.18:6380

查看集群key、slot、slave分布信息

redis-cli --cluster info 172.16.44.18:6380

输出：

172.16.44.18:6380 (b5d8175b...) -> 0 keys | 4096 slots | 1 slaves.
172.16.44.18:6381 (82eac59d...) -> 0 keys | 4096 slots | 1 slaves.
172.16.44.18:6382 (f3ae988d...) -> 0 keys | 4096 slots | 1 slaves.
[OK] 0 keys in 3 masters.
0.00 keys per slot on average.

在线迁移槽

./redis-cli --cluster reshard 172.16.44.18:6380

选择一个目标节点的id
源选择all

平衡各节点槽数量

./redis-cli --cluster rebalance --cluster-threshold 1 172.16.44.18:6380

删除集群节点

./redis-cli --cluster del-node 172.16.44.18:6380 b97cde23f3c1a1b13e42728562180355b985831a

这里必须是没有槽的节点，所以必须先移除槽，否则报错
被删除的node重启后，依然记得集群中的其它节点，这是需要执行cluster forget nodeid来忘记其它节点

添加集群节点

./redis-cli --cluster add-node 172.16.44.18:6386 172.16.44.18:6387

将集群外部redis实例中的数据导入到集群中去

./redis-cli --cluster import 192.168.1.172:6379 --cluster-from 172.16.44.18:6380 --cluster-copy

Cluster-from后面跟外部redis的ip和port
如果只使用cluster-copy，则要导入集群中的key不能在，否则如下：
如果集群中已有同样的key，如果需要替换，可以cluster-copy和cluster-replace联用，这样集群中的key就会被替换为外部的