集合类型（set）
sadd key element #向集合key添加element（如果element存在，添加失败） o(1)
srem key element #从集合中的element移除掉 o(1)
scard key #计算集合大小
sismember key element #判断element是否在集合中
srandmember key count #从集合中随机取出count个元素，不会破坏集合中的元素 (抽奖)
spop key #从集合中随机弹出一个元素
smembers key #获取集合中所有元素 ，无序，小心使用，会阻塞住
sdiff user:1:follow user:2:follow #计算user:1:follow和user:2:follow的差集
sinter user:1:follow user:2:follow #计算user:1:follow和user:2:follow的交集
sunion user:1:follow user:2:follow #计算user:1:follow和user:2:follow的并集
sdiff|sinter|suion + store destkey... #将差集，交集，并集结果保存在destkey集合中
sdiffstore xxx number1 number2
SUNIONSTORE myset myset1 myset2
### 总结
### 实战
抽奖系统 ：通过spop来弹出用户的id，活动取消，直接删除
点赞，点踩，喜欢等，用户如果点了赞，就把用户id放到该条记录的集合中
标签：给用户/文章等添加标签，sadd user:1:tags 标签1 标签2 标签3
给标签添加用户，关注该标签的人有哪些
共同好友：集合间的操作
# 总结4
sadd:可以做标签相关
spop/srandmember:可以做随机数相关
sadd/sinter：社交相关
有序集合(zset)
#### 特点 有一个分值字段，来保证顺序
key score value
user:ranking 1 lqz
user:ranking 99 lqz2
user:ranking 88 lqz3
#集合有序集合
集合：无重复元素，无序，element
有序集合：无重复元素，有序，element+score
#列表和有序集合
列表：可以重复，有序，element
有序集合：无重复元素，有序，element+score
# API使用 zset
zadd key score element #score可以重复，可以多个同时添加，element不能重复 o(logN)
zrem key element #删除元素，可以多个同时删除 o(1)
zscore key element #获取元素的分数 o(1)
zincrby key increScore element #增加或减少元素的分数 o(1)
zcard key #返回元素总个数 o(1)
zrank key element #返回element元素的排名（从小到大排）
zrange key 0 -1 #返回排名，不带分数 o(log(n)+m) n是元素个数，m是要获取的值
zrange player:rank 0 -1 withscores #返回排名，带分数
zrangebyscore key minScore maxScore #返回指定分数范围内的升序元素 o(log(n)+m) n是元素个数，m是要获取的值
zrangebyscore user:1:ranking 90 210 withscores #获取90分到210分的元素
zcount key minScore maxScore #返回有序集合内在指定分数范围内的个数 o(log(n)+m)
zremrangebyrank key start end #删除指定排名内的升序元素 o(log(n)+m)
zremrangebyrank user:1:rangking 1 2 #删除升序排名中1到2的元素
zremrangebyscore key minScore maxScore #删除指定分数内的升序元素 o(log(n)+m)
zremrangebyscore user:1:ranking 90 210 #删除分数90到210之间的元素
# 其他操作
zrevrank #从高到低排序
zrevrange #从高到低排序取一定范围
zrevrangebyscore #返回指定分数范围内的降序元素
zinterstore #对两个有序集合交集
zunionstore #对两个有序集合求并集
# 实战
排行榜：音乐排行榜，销售榜，关注榜，游戏排行榜
慢查询（排查reids慢的问题）
# MySQL 中的 7 种日志介绍
# 生命周期
客户端编写命令 get name---》通过网络 ---》到服务端---》服务端执行命令【查询，修改。。】---》返回数据通过网络返回给客户端
我们配置一个时间，如果查询时间超过了我们设置的时间，我们就认为这是一个慢查询.
慢查询发生在第三阶段
客户端超时不一定慢查询，但慢查询是客户端超时的一个可能因素
# 两个配置 配置慢查询
-只要是超过慢查询时间的命令，都会被记录
-后期通过记录分析，哪些命令是慢的，尽量在生成环境中避免
-慢查询是一个队列，里面记录了，超过你设定时间的命令
- 通过两个配置：
slowlog-log-slower-than 慢于多少微秒的都会被记录
slowlog-max-len 队列长度是多少
-配置文件直接配置
# 设置记录所有命令
config set slowlog-log-slower-than 0
# 最多记录100条
config set slowlog-max-len 100
# 持久化到本地配置文件
config rewrite
-查看慢查询队列
slowlog get 100
slowlog len #获取慢查询队列长度
slowlog reset #清空慢查询队列
# 总结：
开启慢查询记录后---》只要超过某个时间的命令，都会被记录到慢查询队列中
后期我们可以通过慢查询队列中的命令，优化程序，提高redis使用效率
pipline与事务
# redis 其实不支持事务，但是可以通过pipline来模拟事务，pipline只支持单实例redis，如果做集群，没有pipiline
# redis 支持事务吗？
不支持，可以通过pipline实现，但是集群环境不能用pipline
### python客户端实现
import redis
pool = redis.ConnectionPool(host='10.0.0.111', port=6379)
r = redis.Redis(connection_pool=pool)
# pipe = r.pipeline(transaction=False)
#创建pipeline
pipe = r.pipeline(transaction=True)
#开启事务
pipe.multi()
pipe.set('name', 'lqz')
#其他代码，可能出异常
pipe.set('role', 'nb')
pipe.execute()
####### 原生redis操作，模拟事务##########
# 0 开启两个客户端
# 在第一个客户端执行 mutil 开启事务，放到管道中一次性执行
multi # 开启事务
set name lqz
set age 18
exec
# 在第二个客户端去查询，如果第一个客户端没有执行exec ，查询不到第一个事务未提交的数据
# 隔离级别---》读已提交级别
########## 原生redis 通过watch+pipline(multi) 模拟乐观锁##########
### 0 开启两个客户端
### 1 第一个客户端上 在开启事务之前，先watch
wathc age # 看了一眼，是10
multi
decr age # 它有可能被别人操作了
exec
# 另一台机器
multi
decr age
exec # 先执行，上面的执行就会失败(乐观锁，被wathc的事务不会执行成功)
#### 集成到python项目中实现基于redis利用redis的乐观锁，实现秒杀系统的数据同步（基于watch实现），
import redis
from threading import Thread
def choose(name, conn):
# conn.set('count',10)
with conn.pipeline() as pipe:
# 先监视，自己的值没有被修改过
conn.watch('count')
# 事务开始
pipe.multi()
old_count = conn.get('count')
count = int(old_count)
# input('我考虑一下')
# time.sleep(random.randint(1, 2))
if count > 0: # 有库存
pipe.set('count', count - 1)
# 执行，把所有命令一次性推送过去
ret = pipe.execute()
print(ret)
if len(ret) > 0:
print('第%s个人抢购成功' % name)
else:
print('第%s个人抢购失败' % name)
if __name__ == '__main__':
conn = redis.Redis(host='10.0.0.111', port=6379,password='654321')
for i in range(100):
t = Thread(target=choose, args=(i, conn))
t.start()
发布订阅
# 发布者发布了消息，所有的订阅者都可以收到，就是生产者消费者模型（后订阅了，无法获取历史消息）
# 如果是消息队列
生产者生产了一条消息---》只会有一个消费者消费
# 如果是发布定义---》发布订阅---》观察者模式
生产者生产了一条消息---》所有订阅生产者的消费者都会收到消息
# 实际操作
-发布者发布消息
publish channel01 "hello world"
-订阅者01订阅频道 channel01
subscribe channel01
-订阅者02订阅频道 channel01
subscribe channel01
# 实际用途
-只要设计到，一个人发生变化，其他人都收到通知的情况，就可以使用发布订阅
-如何用，python？
员工1 ，员工2 关注了 张三
张三发送一篇文章---》文章保存到数据库了---》信号绑定一个函数--》在函数中发布消息
conn.publish('user_zhangsan_new_article','文章id')
启动一个程序---》等待别人发布消息---》只要别人发布了消息---》取出频道--》去mysql查看哪些员工订阅了这个频道---[员工1 ，员工2]--->发邮件通知
bitmap
# 操作比特位
c i g
01100011 01101001 01100111
set hello big #放入key位hello 值为big的字符串
getbit hello 0 #取位图的第0个位置，返回0
getbit hello 1 #取位图的第1个位置，返回1 如上图
# 我们可以直接操纵位
setbit key offset value #给位图指定索引设置值
setbit hello 7 1 #把hello的第7个位置设为1 这样，big就变成了cig
# 独立用户统计---》统计日活---》用户量足够大--》节约内存
-10亿用户 用户id1 2 3 10亿
-统计日活，只要用户登录，只要用户登录，就把用户id放到集合中
-晚上只需要统计一下 集合大小---》就能统计出日活
-使用集合存储---》1--》32位--》1亿用户 5千万左右---》需要 200MB空间
int8个比特位表示范围 -128--127之间
int16
int32 个比特位表示范围 -2的31次方---2的31次方 2147483648
-使用位图---》12.5MB空间
HyperLogLog
基于HyperLogLog算法：极小的空间完成独立数量统计,极小内存实现去重
pfadd urls "www.baidu.com" "www.cnblogs.com" "www.lqz.com"
pfcount urls
pfadd urls 值 # 返回0表示在，返回1 表示不在
# 总结
百万级别独立用户统计，百万条数据只占15k
错误率 0.81%
无法取出单条数据，只能统计个数
geo
# GEO（地理信息定位）：存储经纬度，计算两地距离，范围等
# 经纬度如何获取？
-不是后端做的
-手机端---》手机有定位--》申请了定位---》手机端能拿到经纬度---》提供接口--->提交到后端
-web端---》js获取经纬度---》提供接口---》提交到后端
# 后端只需要存储
geoadd key longitude latitude member #增加地理位置信息
geoadd cities:locations 116.28 39.55 beijing #把北京地理信息天津到cities:locations中
geoadd cities:locations 117.12 39.08 tianjin
geoadd cities:locations 114.29 38.02 shijiazhuang
geoadd cities:locations 118.01 39.38 tangshan
geoadd cities:locations 115.29 38.51 baoding
# 统计两个经纬度距离
geodist cities:locations beijing baoding km
# 统计北京方圆 100公里内的城市
georadiusbymember cities:locations beijing 100 km
浙公网安备 33010602011771号