Redis相关
一、redis安装和配置
基于键值对的存储系统：字典形式。多种数据结构：字符串、hash、列表、集合、有序集合。支持持久化
#下载
wget http://download.redis.io/releases/redis-5.0.7.tar.gz
#解压
tar -xzf redis-5.0.7.tar.gz
#建立软连接
ln -s redis-5.0.7 redis
cd redis
make&&make install
# 可执行文件
#在src目录下可以看到
#redis-server---> redis服务器
#redis-cli---》 redis命令行客户端
#redis-benchmark---》 redis性能测试工具
#redis-check-aof---> aof文件修复工具
#redis-check-dump---》 rdb文件检查工具
#redis-sentinel---》 sentinel服务器，哨兵
#三种启动方式
1 没有配置文件的默认启动方式（用的很少）
./src/redis-server
2 指定一些配置启动（用的很少）
./src/redis-serve --port 6380
3 通过配置文件启动
./src/redis-server conf/redis_6379.conf
配置文件常用配置参数（可以新建一个redis_6379.conf的配置文件，到时候就像上面3.通过配置文件启动即可，下面是写入redis_6379.conf里面的常用参数）
daemonize yes #是否以守护进程启动
pidfile /var/run/redis.pid #进程号的位置，删除
port 6379 #端口号
dir "/opt/lqz/redis/data" #工作目录
logfile “6379.log” #日志位置
#bind 127.0.0.1 # 不支持远程连接
bind 0.0.0.0 #此时支持远程链接
protected-mode no
requirepass 123456 #设置密码
# 查看是否启动
ps aux |grep redis
# 客户端连接
redis-cli -p 端口号 -h 地址
redis-cli #默认就连接本地6379
# 关闭redis-server
-kill -9 进程id号
-redis-cli shutdown
# 配置了密码，如何连接
redis-cli -h 服务器地址
auth 密码
# 查看redis的配置信息（直接在交互式命令行下修改）
CONFIG GET * # 查看所有配置信息
CONFIG SET maxmemory 128M #设置最大的使用内存
CONFIG REWRITE # 把修改写到配置文件中
# redis的应用场景
-缓存系统
-计数器： 网站访问量，转发量，评论数（文章转发，商品销量，单线程模型，不会出现并发问题）
-消息队列： 发布订阅，阻塞队列实现（简单的分布式，blpop：阻塞队列，生产者消费者）
-排行榜： 有序集合（阅读排行，点赞排行，推荐（销量高的，推荐））
-社交网络： 很多特效跟社交网络匹配，粉丝数，关注数
-实时系统： 垃圾邮件处理系统，布隆过滤器
二、 API的使用
2.1 通用命令
1-keys
#打印出所有key
keys *
#打印出所有以he开头的key
keys he*
#打印出所有以he开头，第三个字母是h到l的范围
keys he[h-l]
#三位长度，以he开头，？表示任意一位
keys he？
#keys命令一般不在生产环境中使用，生产环境key很多，时间复杂度为o(n),用scan命令
2-dbsize 计算key的总数
dbsize #redis内置了计数器，插入删除值该计数器会更改，所以可以在生产环境使用，时间复杂度是o(1)
3-exists key 时间复杂度o(1)
#设置a
set a b
#查看a是否存在
exists a
结果：(integer) 1 #存在返回1 不存在返回0
4-del key删除 时间复杂度o(1)
删除成功返回1，key不存在返回0
5-expire key seconds设置过期时间 时间复杂度o(1)
expire name 3 #3s 过期
ttl name #查看name还有多长时间过期
persist name #去掉name的过期时间
6-type key 时间复杂度o(1)
type name #查看name类型，返回string
7 其他(自动化监控redis相关项目)
info命令查看： 查询内存，cpu，主从相关
client list 查询正在连接的会话 (./src/redis-cli -a 123456 client list)
client kill ip:端口号 关闭连接的会话
dbsize 总共有多少个key
flushall 清空所有
flushdb 只清空当前库
select 数字 选择某个库 总共16个库
monitor 记录操作日志，夯住（日志审计）
2.2 字符串命令
1---基本使用get，set，del
get name #时间复杂度 o(1)
set name lqz #时间复杂度 o(1)
del name #时间复杂度 o(1)
2---其他使用incr,decr,incrby,decrby
incr age #对age这个key的value值自增1
decr age #对age这个key的value值自减1
incrby age 10 #对age这个key的value值增加10
decrby age 10 #对age这个key的value值减10
#统计网站访问量（单线程无竞争，天然适合做计数器）
#缓存mysql的信息（json格式）
#分布式id生成（多个机器同时并发着生成，不会重复）
3---set，setnx，setxx
set name lqz #不管key是否存在，都设置
setnx name lqz #key不存在时才设置（新增操作）
set name lqz nx #同上
set name lqz xx #key存在，才设置（更新操作）
4---mget mset
mget key1 key2 key3 #批量获取key1，key2.。。时间复杂度o(n)
mset key1 value1 key2 value2 key3 value3 #批量设置时间复杂度o(n)
#n次get和mget的区别
#n次get时间=n次命令时间+n次网络时间
#mget时间=1次网络时间+n次命令时间
5---其他：getset，append，strlen
getset name lqznb #设置新值并返回旧值 时间复杂度o(1)
append name 666 #将value追加到旧的value 时间复杂度o(1)
strlen name #计算字符串长度(注意中文) 时间复杂度o(1)
6---其他：incrybyfloat,getrange,setrange
increbyfloat age 3.5 #为age自增3.5，传负值表示自减 时间复杂度o(1)
getrange key start end #获取字符串制定下标所有的值 时间复杂度o(1)
setrange key index value #从指定index开始设置value值 时间复杂度o(1)
2.3 hash命令
1---hget,hset,hdel
hget key field #获取hash key对应的field的value 时间复杂度为 o(1)
hset key field value #设置hash key对应的field的value值 时间复杂度为 o(1)
hdel key field #删除hash key对应的field的值 时间复杂度为 o(1)
#测试
hset user:1:info age 23
hget user:1:info ag
hset user:1:info name lqz
hgetall user:1:info
hdel user:1:info age
2---hexists,hlen
hexists key field #判断hash key 是否存在field 时间复杂度为 o(1)
hlen key #获取hash key field的数量 时间复杂度为 o(1)
hexists user:1:info name
hlen user:1:info #返回数量
3---hmget，hmset
hmget key field1 field2 ...fieldN #批量获取hash key 的一批field对应的值 时间复杂度是o(n)
hmset key field1 value1 field2 value2 #批量设置hash key的一批field value 时间复杂度是o(n)
4--hgetall,hvals，hkeys
hgetall key #返回hash key 对应的所有field和value 时间复杂度是o(n)
hvals key #返回hash key 对应的所有field的value 时间复杂度是o(n)
hkeys key #返回hash key对应的所有field 时间复杂度是o(n)
###谨慎使用hgetall
##1 计算网站每个用户主页的访问量
hincrby user:1:info pageview count
hincrby userinfopagecount user:1:info count
##2 缓存mysql的信息，直接设置hash格式
2.4 列表类型
# 有序队列，可以从左侧添加，右侧添加，可以重复，可以从左右两边弹出
插入操作
#rpush 从右侧插入
rpush key value1 value2 ...valueN #时间复杂度为o(1~n)
#lpush 从左侧插入
#linsert
linsert key before|after value newValue #从元素value的前或后插入newValue 时间复杂度o(n) ，需要遍历列表
linsert listkey before b java
linsert listkey after b php
#删除操作
lpop key #从列表左侧弹出一个item 时间复杂度o(1)
rpop key #从列表右侧弹出一个item 时间复杂度o(1)
lrem key count value
#根据count值，从列表中删除所有value相同的项 时间复杂度o(n)
1 count>0 从左到右，删除最多count个value相等的项
2 count<0 从右向左，删除最多 Math.abs(count)个value相等的项
3 count=0 删除所有value相等的项
lrem listkey 0 a #删除列表中所有值a
lrem listkey -1 c #从右侧删除1个c
ltrim key start end #按照索引范围修剪列表 o(n)
ltrim listkey 1 4 #只保留下表1--4的元素
#查询操作
lrange key start end #包含end获取列表指定索引范围所有item o(n)
lrange listkey 0 2
lrange listkey 1 -1 #获取第一个位置到倒数第一个位置的元素
lindex key index #获取列表指定索引的item o(n)
lindex listkey 0
lindex listkey -1
llen key #获取列表长度
#修改操作
lset key index newValue #设置列表指定索引值为newValue o(n)
lset listkey 2 ppp #把第二个位置设为ppp
2.5 集合操作
sadd key element #向集合key添加element（如果element存在，添加失败） o(1)
srem key element #从集合中的element移除掉 o(1)
scard key #计算集合大小
sismember key element #判断element是否在集合中
srandmember key count #从集合中随机取出count个元素，不会破坏集合中的元素(抽奖)
spop key #从集合中随机弹出一个元素
smembers key #获取集合中所有元素 ，无序，谨慎使用，会阻塞住
sdiff user:1:follow user:2:follow #计算user:1:follow和user:2:follow的差集
sinter user:1:follow user:2:follow #计算user:1:follow和user:2:follow的交集
sunion user:1:follow user:2:follow #计算user:1:follow和user:2:follow的并集
sdiff|sinter|suion + store destkey... #将差集，交集，并集结果保存在destkey集合中
2.6 有序集合
zadd key score element #score可以重复，可以多个同时添加，element不能重复 o(logN)
zrem key element #删除元素，可以多个同时删除 o(1)
zscore key element #获取元素的分数 o(1)
zincrby key increScore element #增加或减少元素的分数 o(1)
zcard key #返回元素总个数 o(1)
zrank key element #返回element元素的排名（从小到大排）
zrange key 0 -1 #返回排名，不带分数 o(log(n)+m) n是元素个数，m是要获取的值
zrange player:rank 0 -1 withscores #返回排名，带分数
zrangebyscore key minScore maxScore #返回指定分数范围内的升序元素 o(log(n)+m) n是元素个数，m是要获取的值
zrangebyscore user:1:ranking 90 210 withscores #获取90分到210分的元素
zcount key minScore maxScore #返回有序集合内在指定分数范围内的个数 o(log(n)+m)
zremrangebyrank key start end #删除指定排名内的升序元素 o(log(n)+m)
zremrangebyrank user:1:rangking 1 2 #删除升序排名中1到2的元素
zremrangebyscore key minScore maxScore #删除指定分数内的升序元素 o(log(n)+m)
zremrangebyscore user:1:ranking 90 210 #删除分数90到210之间的元素
三、高级api使用
3.1 慢查询（假设redis性能不高了，被进程一个阻塞了很慢，如何排除）
命令：
slowlog get [n] #获取慢查询队列
slowlog len #获取慢查询队列长度
slowlog reset #清空慢查询队列
默认配置
config get slowlog-max-len=128
Config get slowly-log-slower-than=10000
修改配置文件重启
动态配置
# 设置记录所有命令 config set slowlog-log-slower-than 0 # 最多记录100条 config set slowlog-max-len 100 # 持久化到本地配置文件 config rewrite ''' config set slowlog-max-len 1000 config set slowlog-log-slower-than 1000 '''
3.2 pipline和watch事务
# pipline 命令中不支持，各个语言客户端支持。一次pipline(n条命令) = 1次网络时间+n次命令时间。将一批命令批量打包，然后结果批量返回。期间独占链接，效率更高
实例：
import redis pool = redis.ConnectionPool(host='10.211.55.4', port=6379) r = redis.Redis(connection_pool=pool) # pipe = r.pipeline(transaction=False) #创建pipeline pipe = r.pipeline(transaction=True) #开启事务 pipe.multi() pipe.set('name', 'lqz') pipe.set('role', 'nb') pipe.execute()
# watch实现乐观锁
实例：
''' 以下是一个事务的例子， 它先以 MULTI 开始一个事务， 然后将多个命令入队到事务中， 最后由 EXEC 命令触发事务， 一并执行事务中的所有命令： ''' redis 127.0.0.1:6379> MULTI OK redis 127.0.0.1:6379> SET book-name "Mastering C++ in 21 days" QUEUED redis 127.0.0.1:6379> GET book-name QUEUED redis 127.0.0.1:6379> SADD tag "C++" "Programming" "Mastering Series" QUEUED redis 127.0.0.1:6379> SMEMBERS tag QUEUED redis 127.0.0.1:6379> EXEC 1) OK 2) "Mastering C++ in 21 days" 3) (integer) 3 4) 1) "Mastering Series" 2) "C++" 3) "Programming" ''' 单个 Redis 命令的执行是原子性的，但 Redis 没有在事务上增加任何维持原子性的机制，所以 Redis 事务的执行并不是原子性的。 事务可以理解为一个打包的批量执行脚本，但批量指令并非原子化的操作，中间某条指令的失败不会导致前面已做指令的回滚，也不会造成后续的指令不做。 '''
#Redis 发布订阅命令
Redis 发布订阅 (pub/sub) 是一种消息通信模式：发送者 (pub) 发送消息，订阅者 (sub) 接收消息。
Redis 客户端可以订阅任意数量的频道。
相关命令：
publish channel message #发布命令 publish souhu:tv "hello world" #在souhu:tv频道发布一条hello world 返回订阅者个数 subscribe [channel] #订阅命令，可以订阅一个或多个 subscribe sohu:tv #订阅sohu:tv频道 unsubscribe [channel] #取消订阅一个或多个频道 unsubscribe sohu:tv #取消订阅sohu:tv频道 psubscribe [pattern...] #订阅模式匹配 psubscribe c* #订阅以c开头的频道 unpsubscribe [pattern...] #按模式退订指定频道 pubsub channels #列出至少有一个订阅者的频道,列出活跃的频道 pubsub numsub [channel...] #列出给定频道的订阅者数量 pubsub numpat #列出被订阅模式的数量
实例：
第一个 redis-cli 客户端 redis 127.0.0.1:6379> SUBSCRIBE runoobChat Reading messages... (press Ctrl-C to quit) 1) "subscribe" 2) "runoobChat" 3) (integer) 1 现在，我们先重新开启个 redis 客户端，然后在同一个频道 runoobChat 发布两次消息，订阅者就能接收到消息。 第二个 redis-cli 客户端 redis 127.0.0.1:6379> PUBLISH runoobChat "我是Redis测试" (integer) 1 redis 127.0.0.1:6379> PUBLISH runoobChat "我是另一个测试" (integer) 1 # 订阅者的客户端会显示如下消息 1) "message" 2) "runoobChat" 3) "我是Redis测试" 1) "message" 2) "runoobChat" 3) "我是另一个测试"
3.3 位图 （本质就是字符串）
就是用每一位来存放某种状态，适用于大规模数据，但数据状态又不是很多的情况。
位图最大512M，使用setbit时如果偏移量过大，会有较大消耗。
#####相关命令
set hello big #放入key位hello 值为big的字符串 getbit hello 0 #取位图的第0个位置，返回0 getbit hello 1 #取位图的第1个位置，返回1 如上图 ##我们可以直接操纵位 setbit key offset value #给位图指定索引设置值 setbit hello 7 1 #把hello的第7个位置设为1 这样，big就变成了cig setbit test 50 1 #test不存在，在key为test的value的第50位设为1，那其他位都以0补 bitcount key [start end] #获取位图指定范围(start到end,单位为字节,注意按字节一个字节8个bit为，如果不指定就是获取全部)位值为1的个数 bitop op destkey key [key...] #做多个Bitmap的and(交集)/or(并集)/not(非)/xor(异或)，操作并将结果保存在destkey中 bitop and after_bbb bbb bbb2 #把bbb和bbb2按位与操作，放到after_bbb中 bitpos key targetBit start end #计算位图指定范围(start到end，单位为字节，如果不指定是获取全部)第一个偏移量对应的值等于targetBit的位置 bitpos bbb 1 #big 对应位图中第一个1的位置，在第二个位置上，由于从0开始返回1 bitpos bbb 0 #big 对应位图中第一个0的位置，在第一个位置上，由于从0开始返回0 bitpos bbb 1 1 2 #返回9：返回从第一个字节到第二个字节之间 第一个1的位置，看上图，为9
实例： 独立用户统计
1 使用set和Bitmap对比
2 1亿用户，5千万独立（1亿用户量，约5千万人访问，统计活跃用户数量）
| 数据类型 | 每个userid占用空间 | 需要存储用户量 | 全部内存量 |
|---|---|---|---|
| set | 32位(假设userid是整形，占32位) | 5千万 | 32位*5千万=200MB |
| bitmap | 1位 | 1亿 | 1位*1亿=12.5MB |
假设有10万独立用户，使用位图还是占用12.5mb，使用set需要32位*1万=4MB
3.4 HyperLogLog
基于HyperLogLog算法：绩效的空间完成独立数量统计
本质还是字符串
pfadd urls www.baidu.com
pfadd urls www.baidu.com # 放不进去
pfcount urls # 取出来只有1
pfadd key element #向hyperloglog添加元素,可以同时添加多个 pfcount key #计算hyperloglog的独立总数 pfmerge destroy sourcekey1 sourcekey2 #合并多个hyperloglog，把sourcekey1和sourcekey2合并为destroy pfadd uuids "uuid1" "uuid2" "uuid3" "uuid4" #向uuids中添加4个uuid pfcount uuids #返回4 pfadd uuids "uuid1" "uuid5" #有一个之前存在了，其实只把uuid5添加了 pfcount uuids #返回5 pfadd uuids1 "uuid1" "uuid2" "uuid3" "uuid4" pfadd uuids2 "uuid3" "uuid4" "uuid5" "uuid6" pfmerge uuidsall uuids1 uuids2 #合并 pfcount uuidsall #统计个数 返回6
内存消耗&总结：
百万级别独立用户统计，百万条数据只占15k
错误率 0.81%
无法取出单条数据，只能统计个数
布隆过滤器（有误差）
3.5 geo
geo本质时zset类型
可以使用zset的删除，删除指定member：zrem
GEO（地理信息定位）：存储经纬度，计算两地距离，范围等
### 移动端有定位，往后台传，就是经纬度
geoadd cities:locations 116.28 39.55 beijing
geoadd cities:locations 117.12 39.08 tianjin
geoadd cities:locations 114.29 38.02 shijiazhuang
geoadd cities:locations 118.01 39.38 tangshan
geoadd cities:locations 115.29 38.51 baoding
# 计算北京到唐山的直线距离
geodist cities:locations beijing tianjin km
# 计算北京周围150千米内的城市
georadiusbymember cities:locations beijing 150 km
常用命令：
geoadd key longitude latitude member #增加地理位置信息 geoadd cities:locations 116.28 39.55 beijing #把北京地理信息天津到cities:locations中 geoadd cities:locations 117.12 39.08 tianjin geoadd cities:locations 114.29 38.02 shijiazhuang geoadd cities:locations 118.01 39.38 tangshan geoadd cities:locations 115.29 38.51 baoding geopos key member #获取地理位置信息 geopos cities:locations beijing #获取北京地理信息 geodist key member1 member2 [unit] #获取两个地理位置的距离 unit:m(米) km(千米) mi(英里) ft(尺) geodist cities:locations beijing tianjin km #北京到天津的距离，89公里 georadius key logitude latitude radiusm|km|ft|mi [withcoord] [withdist] [withhash] [COUNT count] [asc|desc] [store key][storedist key] georadiusbymember key member radiusm|km|ft|mi [withcoord] [withdist] [withhash] [COUNT count] [asc|desc] [store key][storedist key] #获取指定位置范围内的地理位置信息集合 ''' withcoord:返回结果中包含经纬度 withdist：返回结果中包含距离中心节点位置 withhash：返回解雇中包含geohash COUNT count：指定返回结果的数量 asc|desc：返回结果按照距离中心店的距离做升序/降序排列 store key：将返回结果的地理位置信息保存到指定键 storedist key：将返回结果距离中心点的距离保存到指定键 ''' georadiusbymember cities:locations beijing 150 km ''' 1) "beijing" 2) "tianjin" 3) "tangshan" 4) "baoding" '''
四、Redis持久化
redis的所有数据保存到内存中，对数据的更新将异步的保存到硬盘上
1.方式： 两种
# 快照：某时某刻数据的一个完成备份， -mysql的Dump -redis的RDB # 写日志：任何操作记录日志，要恢复数据，只要把日志重新走一遍即可（数据很重要） -mysql的 Binlog -Redis的 AOF
RDB:
触发机制；主要为三种
-save (同步) ：客户端执行save命令----》redis服务端----》同步创建RDB二进制文件，如果老的RDB存在，会替换老的
-bgsave（异步）：客户端执行save命令----》redis服务端----》异步创建RDB二进制文件，如果老的RDB存在，会替换老的
-配置文件（直接去.conf配置文件夹写入即可）
save 900 1
save 300 10
save 60 10000
如果60s中改变了1w条数据，自动生成rdb
如果300s中改变了10条数据，自动生成rdb
如果900s中改变了1条数据，自动生成rdb
AOF:（相比于rdb更耗时、耗性能，且不可控。但数据不丢失）
客户端每写入一条命令，都记录一条日志，放到日志文件中，如果出现宕机，可以将数据完全恢复
AOF的三种策略
always：redis–》写命令刷新的缓冲区—》每条命令fsync到硬盘—》AOF文件
everysec（默认值）：redis——》写命令刷新的缓冲区—》每秒把缓冲区fsync到硬盘–》AOF文件（会丢一秒钟的数据。一般用这个）
no:redis——》写命令刷新的缓冲区—》操作系统决定，缓冲区fsync到硬盘–》AOF文件
AOF重写
-本质：本质就是把过期的，无用的，重复的，可以优化的命令，来优化
-使用：
-在客户端主动输入：bgrewriteaof
-配置文件：
配置名 含义
auto-aof-rewrite-min-size AOF文件重写需要的尺寸
auto-aof-rewrite-percentage AOF文件增长率
统计名 含义
aof-current-size AOF当前尺寸
aof-base-size AOF上次启动和重写尺寸
-自动触发时机：（两个条件同时满足）
aof-current-size > auto-aof-rewrite-min-size
(aof-current-size - aof-base-size) / aof-base-size > auto-aof-rewrite-percentage (增长率)
AOF持久化配置最优方案（有这个就可以不用上面的配置）
appendonly yes #将该选项设置为yes，打开
appendfilename "appendonly.aof" #文件保存的名字
appendfsync everysec #采用第二种策略
dir ./data #存放的路径
no-appendfsync-on-rewrite yes #在aof重写的时候，是否要做aof的append操作，因为aof重写消耗性能，磁盘消耗，正常aof写磁盘有一定的冲突，这段期间的数据，允许丢失
五、主从复制
原理：
一主一从，一主多从。可做读写分离、数据副本，扩展数据性能。一个maskter可以有多个slave, 一个slave只能有一个maskter,数据单向流向，从maskter到slave
如何配置：
方式一：
-在从库执行 SLAVEOF 127.0.0.1 6379（跟你主库的地址和端口），
-断开关系 slaveof no one
方式二：配置文件（配在从库的配置文件中，通常用这个）
slaveof 127.0.0.1 6379
slave-read-only yes
六、哨兵（sentinel）
原理：让redis的主从复制高可用。可以做故障判断，故障转移，通知客户端(其实就是一个进程)，客户端直接连接sentinel地址
1 搭一个一主两从
2 创建三个配置文件：
第一个是主配置文件
daemonize yes
pidfile /var/run/redis.pid
port 6379
dir "/opt/soft/redis/data"
l ogfile “6379.log”
第二个是从配置文件
daemonize yes
pidfile /var/run/redis2.pid
port 6378
dir "/opt/soft/redis/data2"
logfile “6378.log”
slaveof 127.0.0.1 6379
slave-read-only yes
第三个是从配置文件
daemonize yes
pidfile /var/run/redis3.pid
port 6377
dir "/opt/soft/redis/data3"
logfile “6377.log”
slaveof 127.0.0.1 6379
slave-read-only yes
把三个redis服务都启动起来
./src/redis-server redis_6379.conf
./src/redis-server redis_6378.conf
./src/redis-server redis_6377.conf
3 搭建哨兵
sentinel.conf这个文件
把哨兵也当成一个redis服务器
创建三个配置文件分别叫sentinel_26379.conf sentinel_26378.conf sentinel_26377.conf
当前路径下创建 data1 data2 data3 个文件夹
配置文件里配置内容如下(需要修改端口，文件地址日志文件名字)
port 26379
daemonize yes
dir ./data3
protected-mode no
bind 0.0.0.0
logfile "redis_sentinel3.log"
sentinel monitor mymaster 127.0.0.1 6379 2
sentinel down-after-milliseconds mymaster 30000
sentinel parallel-syncs mymaster 1
sentinel failover-timeout mymaster 180000
启动三个哨兵
./src/redis-sentinel sentinel_26379.conf
./src/redis-sentinel sentinel_26378.conf
./src/redis-sentinel sentinel_26377.conf
登陆哨兵
./src/redis-cli -p 26377
# 输入 info
# 查看哨兵的配置文件被修改了，自动生成的
# 主动停掉主redis 6379，哨兵会自动选择一个从库作为主库
redis-cli -p 6379
shutdown
#等待原来的主库启动，该主库会变成从库
4 客户端连接
import redis from redis.sentinel import Sentinel # 连接哨兵服务器(主机名也可以用域名) # 10.0.0.101:26379 sentinel = Sentinel([('10.0.0.101', 26379), ('10.0.0.101', 26378), ('10.0.0.101', 26377) ],socket_timeout=5) print(sentinel) # 获取主服务器地址 master = sentinel.discover_master('mymaster') print(master) # 获取从服务器地址 slave = sentinel.discover_slaves('mymaster') print(slave) ##### 读写分离 # 获取主服务器进行写入 # master = sentinel.master_for('mymaster', socket_timeout=0.5) # w_ret = master.set('foo', 'bar') # slave = sentinel.slave_for('mymaster', socket_timeout=0.5) # r_ret = slave.get('foo') # print(r_ret)
七、集群（cluster）
集群是3.0以后加的，3.0----5.0之间，ruby脚本，5.0以后，内置了
Redis 集群使用数据分片（sharding）而非一致性哈希（consistency hashing）来实现： 一个 Redis 集群包含 16384 个哈希槽（hash slot）， 数据库中的每个键都属于这 16384 个哈希槽的其中一个， 集群使用公式 CRC16(key) % 16384 来计算键 key 属于哪个槽， 其中 CRC16(key) 语句用于计算键 key 的 CRC16 校验和 。
集群中的每个节点负责处理一部分哈希槽。 比如， 一个集群可以有三个哈希槽， 其中：
- 节点 A 负责处理 0 号至 5500 号哈希槽。
- 节点 B 负责处理 5501 号至 11000 号哈希槽。
- 节点 C 负责处理 11001 号至 16384 号哈希槽。
集群搭建：
要让集群正常工作至少需要3个主节点，在这里我们要创建6个redis节点，其中三个为主节点，三个为从节点，对应的redis节点的ip和端口对应关系如下（为了简单演示都在同一台机器上面）
127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005
#先创建目录 cd /usr/local/redis mkdir cluster cd cluster mkdir 7000 7001 7002 7003 7004 7005 #复制和修改配置文件 #将redis目录下的配置文件复制到对应端口文件夹下,6个文件夹都要复制一份 cp redis-3.2.9/redis.conf /usr/local/redis/cluster/7000
#修改配置文件redis.conf，将下面的选项修改 # 端口号 port 7000 # 后台启动 daemonize yes # 开启集群 cluster-enabled yes #集群节点配置文件 cluster-config-file nodes-7000.conf # 集群连接超时时间 cluster-node-timeout 5000 # 进程pid的文件位置 pidfile /var/run/redis-7000.pid # 开启aof appendonly yes # aof文件路径 appendfilename "appendonly-7005.aof" # rdb文件路径 dbfilename dump-7000.rdb #####6个配置文件安装对应的端口分别修改配置文件 #启动 bin/redis-server cluster/7000/redis.conf bin/redis-server cluster/7001/redis.conf bin/redis-server cluster/7002/redis.conf bin/redis-server cluster/7003/redis.conf bin/redis-server cluster/7004/redis.conf bin/redis-server cluster/7005/redis.conf
#这个时候我们查看一下进程看启动情况 ps -ef | grep redis #进程状态如下： root 1731 1 1 18:21 ? 00:00:49 bin/redis-server *:7000 [cluster] root 1733 1 0 18:21 ? 00:00:29 bin/redis-server *:7001 [cluster] root 1735 1 0 18:21 ? 00:00:08 bin/redis-server *:7002 [cluster] root 1743 1 0 18:21 ? 00:00:26 bin/redis-server *:7003 [cluster] root 1745 1 0 18:21 ? 00:00:13 bin/redis-server *:7004 [cluster] root 1749 1 0 18:21 ? 00:00:08 bin/redis-server *:7005 [cluster] #有6个redis进程在开启，说明我们的redis就启动成功了
搭建成功后，需要分配主从节点实现主从复制的高可用，以及节点分配
#利用 redis-trib.rb 工具整体实现，在Redis 5.0之后直接利用 redis-cli 完成： redis-cli --cluster create 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 --cluster-replicas 1
#cluster-replicas 1 指示给定的创建节点列表是以主节点+从节点对组成的。
搭建成功后在集群中执行命令：
集群此时处于上线状态，可以通过客户端向集群中的节点发送命令。接收命令的节点会计算出命令要处理的键属于哪个槽，并检查这个槽是否指派给自己。
我们利用 CLUSTER KEYSLOT 查看到键 aaa 所在槽号为5798（被分配在6380节点），当对此键操作时，会被重定向到相应的节点。对键bbb的操作与此类似。
127.0.0.1:7000> CLUSTER KEYSLOT aaa (integer) 5798 #写入值 127.0.0.1:7000> set aaa hello -> Redirected to slot [5798] located at 127.0.0.1:7001 OK 127.0.0.1:7001> #获取值 127.0.0.1:7000> get bbb -> Redirected to slot [14943] located at 127.0.0.1:7001 "big" 127.0.0.1:7001>
值得注意的是，当我们将命令通过客户端发送给一个从节点时，命令会被重定向至对应的主节点。
127.0.0.1:7000> KEYS *
"aaa"
127.0.0.1:7000> get name -> Redirected to slot [5798] located at 127.0.0.1:7000
"hello"
故障转移：
集群中主节点下线时，复制此主节点的所有的从节点将会选出一个节点作为新的主节点，并完成故障转移。和主从复制的配置相似，当原先的从节点再次上线，它会被作为新主节点的的从节点存在于集 群中。例如主节点7000宕机(shutdown)后，那么7001将作为新的主从点，当7000重新启动，那么7000就会作为7001的从节点
集群伸缩：
添加节点，对集群的进行重新分片，实现槽位在节点间的迁移。
#1.先启动节点，按照上面讲的先启动节点 #添加节点。 redis-cli --cluster add-node 命令分别添加节点9000和9001。且9000复制9001 redis-cli --cluster add-node 127.0.0.1:9000 127.0.0.1:6379 redis-cli --cluster add-node 127.0.0.1:9001 127.0.0.1:6379 #重新分片。 redis-cli --cluster reshard 命令对集群重新分片，使得各节点槽位均衡（分别从节点7001/7002/7004中迁移一些slot到节点9000中）。需要指定： #移动的槽位数：最终平均每个主节点有4096个slot，因此总共移动4096 slots #接收槽位的目标节点ID：节点9000的ID #移出槽位的源节点ID：节点7000/7002/7004的ID redis-cli --cluster reshard 127.0.0.1 7001 #设置主从关系：（9000为主） redis-cli -p 9001 cluster replicate 9000节点的ID号
删除节点
#1.重新分片：redis-cli --cluster reshard 命令，将9000节点上的槽位全部转移到节点7001上。 redis-cli --cluster reshard 127.0.0.1 9000 #2.删除节点：redis-cli --cluster del-node 命令依次删除从节点9000和主节点9001。 redis-cli --cluster del-node 127.0.0.1:9000 节点id号 redis-cli --cluster del-node 127.0.0.1:9001 节点ID号
########### 注 意：一定要先删除从节点，再删除主节点，否则先删除主节点会触发故障转移机制。
Redis其他：
1 双写一致性，redis和mysql数据同步，方案
1 先更新数据库，再更新缓存（一般不用）
2 先删缓存，再更新数据库（在存数据的时候，请求来了，缓存不是最新的）
3 先更新数据库，再删缓存（推荐用）
2 缓存更新策略
- LRU/LFU/FIFO算法剔除
-maxmemory-policy， 超过最大内存，新的放不进去了，淘汰策略
LRU -Least Recently Used, 没有被使用时间最长的（保证热点数据）
LFU -Least Frequenty User, 一定时间段内使用次数最少的
FIFO -First In First Out， 先进先出
3 如何保证redis中数据是最热的，配置lru的剔除算法
-配置文件中：maxmemory-policy:volatile-lru
4 LFU配置 Redis4.0之后为maxmemory_policy淘汰策略添加了两个LFU模式
-配置（3个参数）
maxmemory-policy:volatile-lfu
lfu-log-factor 10
lfu-decay-time 1
# lfu-log-factor可以调整计数器counter的增长速度，lfu-log-factor越大，counter增长的越慢。
# lfu-decay-time是一个以分钟为单位的数值，可以调整counter的减少速度
5 缓存粒度控制
-只缓存某些信息，比如id等
6 缓存穿透，缓存击穿，缓存雪崩
缓存穿透（恶意的）
描述：
缓存穿透是指缓存和数据库中都没有的数据，而用户不断发起请求，如发起为id为“-1”的数据或id为特别大不存在的数据。这时的用户很可能是攻击者，攻击会导致数据库压力过大。
解决方案：
1 接口层增加校验，如用户鉴权校验，id做基础校验，id<=0的直接拦截；
2 从缓存取不到的数据，在数据库中也没有取到，这时也可以将key-value对写为key-null，缓存有效时间可以设置短点，如30秒（设置太长会导致正常情况也没法使用）。这样可以防止攻击用户反复用同一个id暴力攻击
3 通过布隆过滤器实现，mysql中所有数据都放到布隆过滤器，请求来了，先去布隆过滤器查，如果没有，表示非法，直接返回
缓存击穿
描述：
缓存击穿是指缓存中没有但数据库中有的数据（一般是缓存时间到期），这时由于并发用户特别多，同时读缓存没读到数据，又同时去数据库去取数据，引起数据库压力瞬间增大，造成过大压力
解决方案：
设置热点数据永远不过期。
缓存雪崩
描述：
缓存雪崩是指缓存中数据大批量到过期时间，而查询数据量巨大，引起数据库压力过大甚至宕机。和缓存击穿不同的是，缓存击穿指并发查同一条数据，缓存雪崩是不同数据都过期了，很多数据都查不到从而查数据库。
解决方案：
1 缓存数据的过期时间设置随机，防止同一时间大量数据过期现象发生。
2 如果缓存数据库是分布式部署，将热点数据均匀分布在不同搞得缓存数据库中。
3 设置热点数据永远不过期。
8 redis实现布隆过滤器
9 python实现布隆过滤器
MySQL主从搭建
1.原理：
1）master会将变动记录到二进制日志里面；
2）master有一个I/O线程将二进制日志发送到slave;
3) slave有一个I/O线程把master发送的二进制写入到relay日志里面；
4）slave有一个SQL线程，按照relay日志处理slave的数据；
2.搭建(演示一台机器上，用docker演示)
1.创建目录
mkdir /home/mysql mkdir /home/mysql/conf.d mkdir /home/mysql/data/
mkdir /home/mysql/my.cnf
2.创建另一个目录
mkdir /home/mysql2 mkdir /home/mysql2/conf.d mkdir /home/mysql2/data/ mkdir /home/mysql2/my.cnf
3.修改配置文件
####主库的配置文件，server-id和开启binlog日志 [mysqld] user=mysql character-set-server=utf8 default_authentication_plugin=mysql_native_password secure_file_priv=/var/lib/mysql expire_logs_days=7 sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION max_connections=1000 server-id=100 log-bin=mysql-bin [client] default-character-set=utf8 [mysql] default-character-set=utf8
#############从库的配置 ####主库的配置文件，server-id和开启binlog日志 [mysql2] user=mysql character-set-server=utf8 default_authentication_plugin=mysql_native_password secure_file_priv=/var/lib/mysql expire_logs_days=7 sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION max_connections=1000 server-id=101 #一定不能和主库一样 log-bin=mysql-slave-bin relay_log=edu-mysql-relay-bin [client] default-character-set=utf8 [mysql] default-character-set=utf8
4.启动主库和从库
#启动主库容器（挂载外部目录，端口映射成33307，密码设置为123456） docker run -di -v /home/mysql/data/:/var/lib/mysql -v /home/mysql/conf.d:/etc/mysql/conf.d -v /home/mysql/my.cnf:/etc/mysql/my.cnf -p 33307:3306 --name mysql-master -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7 #启动从库容器（挂载外部目录，端口映射成33306，密码设置为123456） docker run -di -v /home/mysql2/data/:/var/lib/mysql -v /home/mysql2/conf.d:/etc/mysql/conf.d -v /home/mysql2/my.cnf:/etc/mysql/my.cnf -p 33306:3306 --name mysql-slave -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7
5.创建test用户，并授权
#在主库创建用户并授权 ##创建test用户 create user 'test'@'%' identified by '123'; ##授权用户 grant all privileges on *.* to 'test'@'%' ; ###刷新权限 flush privileges; #查看主服务器状态(显示如下图) show master status; # 可以看到日志文件的名字，和现在处在哪个位置
6.连接从库，并配置连接主库
#连接从库 mysql -h 172.16.209.100 -P 33306 -u root -p123456 #配置详解 /* change master to master_host='MySQL主服务器IP地址', master_user='之前在MySQL主服务器上面创建的用户名'， master_password='之前创建的密码', master_log_file='MySQL主服务器状态中的二进制文件名', master_log_pos='MySQL主服务器状态中的position值'; */ #命令如下 change master to master_host='101.133.225.166',master_port=33307,master_user='test',master_password='123',master_log_file='mysql-bin.000003',master_log_pos=0; #启用从库 start slave; #查看从库状态（如下图） show slave status\G; ####这两个是yes表示配成功 Slave_IO_Running: Yes Slave_SQL_Running: Yes
7.测试
#在主库上创建数据库test1 create database test1; use test1; #创建表 create table tom (id int not null,name varchar(100)not null ,age tinyint); #插入数据 insert tom (id,name,age) values(1,'xxx',20),(2,'yyy',7),(3,'zzz',23);
Django实现读写分离：
1.新建一个Django项目
2.在外部向上面一样将主从搭建好
3.在Django项目里settings文件里配置
DATABASES = { # 主库 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': 'lqz1', 'USER': 'root', 'PASSWORD': '123456', 'HOST': '101.133.225.166', 'PORT': 33307, }, # 从库 'db1': { 'ENGINE': 'django.db.backends.mysql', 'NAME': 'lqz1', 'USER': 'root', 'PASSWORD': '123456', 'HOST': '101.133.225.166', 'PORT': 33306, }, }
手动指定读写分离：在Django项目中，在视图函数里面指定读写库
def index(request): # 向default库写，主库，using后面是指定的 res=models.Book.objects.using('default').create(name='我的世界',price=33.9) # 去"db1"库写，从库 res=models.Book.objects.using('db1').all().first() # print(res.name)
自动配置指定（常用）：新建一个py文件，写入类，再去settings里面配置
#比如新建db_router.py class Router1: def db_for_read(self, model, **hints): return 'db1' def db_for_write(self, model, **hints): return 'default'
# 然后在setting中注册 DATABASE_ROUTERS = ['db_router.Router1',]
#以后只要是写操作，就会用default，只要是读操作自动去db1
粒度更细（比上面自动配置的更细）
#也是在db_router.py里面写（是又分库又分表。上面是只分库） class Router1: def db_for_read(self, model, **hints): #如果读表名book，就去表db1,否则去default表 if model._meta.model_name == 'book': return 'db1' else: return 'default' def db_for_write(self, model, **hints): return 'default'
补充：在数据库迁移时，可以指定把哪个app的表结构迁移到哪个库。在终端执行命令时指定 ：python manage.py migrate app01 --database=default
浙公网安备 33010602011771号