redis的Linux系统安装与配置、redis的api使用、高级用法之慢查询、pipline事物

今日内容概要

  • redis 的linux安装和配置
  • redis 的api使用
  • 高级用法之慢查询
  • pipline事务

内容详细

1、redis 的linux安装和配置

# redis 版本选择问题
	-最新:7.0
	-最稳定版本:6.x
	-讲课:5.x
	-企业里:3.x,4.x,5.x   6.x(极少数公司在用)
	-windows:3.x,5.x
    
# 哪些公司在用
	-大部分公司-多多少少都会用到 redis
	-99%以上公司项目会用关系型数据库(mysql,postgrasql,oracle,国产数据库:达梦)
	-80%公司用redis
	-去ioe--->ibm(浪潮,联想) ,oracle(达梦..),emc存储
	-通用性东西:网络,数据库,redis,nginx,docker...  
    
    
    
# 特性
	1 速度快:10w ops(每秒10w读写),数据存在内存中,c语言实现
	2 持久化:rdb和aof
	3 多种数据结构:
		五大数据结构
		BitMaps位图:布隆过滤器 本质是 字符串
		HyperLogLog:超小内存唯一值计数,12kb HyperLogLog 本质是 字符串
		GEO:地理信息定位 本质是有序集合--》附近5公里的美女
	4 支持多种编程语言:基于tcp通信协议,各大编程语言都支持,客户端
	5 功能丰富:发布订阅(消息) Lua脚本 事务(pipeline),实现分布式锁---(mysql,redis,zookeeper)
	6 简单:源代码几万行,不依赖外部库(源码编译安装---》可执行文件执行)
	7 主从复制:主服务器和从服务器,主服务器可以同步到从服务器中
	8 高可用和分布式:
		2.8版本以后使用redis-sentinel支持高可用
		3.0版本以后支持分布式

1.1 下载安装

### 1 连接Linux服务器端
	wget http://download.redis.io/releases/redis-5.0.7.tar.gz

# 2 解压
	tar -xzf redis-5.0.7.tar.gz

# 3 建立软连接
	ln -s redis-5.0.7 redis
	cd redis
    
	# 文件和文件夹
	-Makefile    # make,make install的安装依赖文件
	-src         # c的源代码
	-redis.conf  # redis的配置文件,启动的时候使用
    
# 4 编译---可执行文件
	make
    
# 5 安装--》根据config配置---》把可执行文件释放到某个路径,在环境变量中
	make install 
    
# 在src目录下可以看到
	redis-server--->redis服务器
	redis-cli---》redis命令行客户端
	redis-benchmark---》redis性能测试工具
	redis-check-aof--->aof文件修复工具
	redis-check-dump---》rdb文件检查工具
	redis-sentinel---》sentinel服务器,哨兵
    
	redis作者对windows维护不好,window自己有安装包



# 卸载 ---卸载redis
	# 1、查看redis进程;
		ps aux|grep redis
	# 2、kill掉进程;
		kill 进程id
	# 3、进入到redis目录
		cd /root/s20(安装路径)
	# 4、删除redis对应的文件
		rm -f /usr/local/redis/bin/redis*
		rm -f /usr/local/bin/redis*
	# 5、删除对应的文件
		rm -rf redis

1.2 三种启动方式

# 只要在环境变量的某个路径下,在任意位置敲,都能找到
	默认的 /usr/bin   /usr/local/bin


# 最简启动, cd 来到redis路径下
./src/redis-server
ps -ef|grep redis  # 查看进程
netstat -antpl|grep redis  # 查看端口
redis-cli -h ip -p port ping  # 命令查看
redis-cli -h 127.0.0.1 -p 6379


#  动态参数启动
redis-serve --port 6380 #启动,监听6380端口


# 常用:配置文件启动---》100来对配置文件
# redis 的目录下
vim redis.conf

daemonize yes
pidfile /var/run/redis.pid
port 6379
dir "/root/s20/redis/data"
logfile 6379.log

# 启动
mkdir data
redis-server ./redis.conf

1.3 客户端连接

# 无密码情况
redis-cli -p 端口  -h 地址

# 有密码情况
redis-cli -h 127.0.0.1 -p 6370 -a 123456

# 查看redis的配置信息
config get port
config get *  # 100多对

# 修改配置文件---》有漏洞--》可以利用这个漏洞,提权,以root用户登录到你的redis服务器上
config set maxmemory 128M  # 设置最大使用的内存
config set requirepass 123456  # 设置密码,如果没执行下面,在内存中,只要redis服务不重启,就一直生效,但是咱们下写到配置文件中
config REWRITE  # 保存到配置文件,重启redis,密码也在

# 进入到链接后,再输密码
redis-cli -p 端口  -h 地址
auth 123456

# 登陆的同时输入密码
redis-cli -h 127.0.0.1    -p 6370 -a 123456

image

1.4 使用场景

# 缓存系统:使用最广泛的就是缓存--->
	做缓存,接口缓存

# 计数器:
	网站访问量,转发量,评论数(文章转发,商品销量,不会出现并发问题)
    
# 消息队列:
	发布订阅,阻塞队列实现(简单的分布式,blpop:阻塞队列,生产者消费者)
    
# 排行榜:
	有序集合(阅读排行,点赞排行,推荐(销量高的,推荐)) 有序集合
    
# 社交网络:
	很多特效跟社交网络匹配,粉丝数,关注数  集合 
    
# 实时系统:
	垃圾邮件处理系统,布隆过滤器

2、redis 的api使用

2.1 通用命令

# 衡量算法好坏的指标,大 O 表示法
	-空间复杂度(占多大内存),时间复杂(耗费多长时间)
	-O(1),O(log n),O(n),O(n方)

# 1、keys 
	打印出所有key
		keys * 
        
	打印出所有以he开头的key
		keys he*
        
	打印出所有以he开头,第三个字母是h到l的范围
		keys he[h-l]
        
	三位长度,以he开头,?表示任意一位
		keys he?
        
	keys命令一般不在生产环境中使用,生产环境key很多,时间复杂度为 o(n),用scan命令

# 2、dbsize   计算key的总数
	dbsize  # redis内置了计数器,插入删除值该计数器会更改,所以可以在生产环境使用,时间复杂度是o(1)

#3、exists key 时间复杂度o(1)
	设置a
		set a b
        
	查看a是否存在
		exists a
		(integer) 1
	存在返回1 不存在返回0
    
# 4、del key  时间复杂度o(1)
	删除成功返回1,key不存在返回0
    
# 5、expire key seconds  时间复杂度o(1)
	expire name 3  # 3s 过期
	ttl name  # 查看name还有多长时间过期
	persist name  # 去掉name的过期时间

# 6、type key  时间复杂度o(1)
	type name  # 查看name类型,返回string


# 7、其他-->系统相关
	info 命令:内存,cpu,主从相关--->django写一个redis服务监控--》折线图,饼形图
	subprocess---》redis-cli -a 123456 info---》字符串---》
    
	client list  正在连接的会话
    
	client kill ip:端口
		client kill 127.0.0.1:40704
            
	dbsize  # 总共有多少个key
    
	flushall  # 清空所有
    
	flushdb  # 只清空当前库  16 个库
    
	select 数字  # 选择某个库  总共16个库  默认在第0个
    
	monitor  # 记录操作日志,夯住

注意:

# 一个次只会执行一条命令

# 为什么这么快?
1 纯内存
2 非阻塞IO (epoll),自身实现了事件处理,不在网络io上浪费过多时间

# 注意:
1 一次只运行一条命令

2 拒绝长慢命令
	-keys,flushall,flushdb,慢的lua脚本,mutil/exec,operate,big value
    
3 其实不是单线程(在做持久化是另外的线程)

2.2 字符串操作

### 1---基本使用get,set,del
get name       # 时间复杂度 o(1)
set name lqz   # 时间复杂度 o(1)
del name       # 时间复杂度 o(1)

### 2---其他使用incr,decr,incrby,decrby
incr age  # 对age这个key的value值自增1
decr age  # 对age这个key的value值自减1
incrby age 10  # 对age这个key的value值增加10
decrby age 10  # 对age这个key的value值减10
	统计网站访问量(单线程无竞争,天然适合做计数器)
	缓存mysql的信息(json格式)

### 3---set,setnx,setxx
set name lqz  # 不管key是否存在,都设置 
setnx name lqz  # key不存在时才设置(新增操作)
set name lqz nx  # 同上
set name lqz xx  # key存在,才设置(更新操作)

### 4---mget mset
mget key1 key2 key3   # 批量获取key1,key2.。。时间复杂度o(n)
mset key1 value1 key2 value2 key3 value3  # 批量设置时间复杂度o(n)

	n次get和mget的区别:   
		n次get时间=n次命令时间+n次网络时间  
		mget时间=1次网络时间+n次命令时间

### 5---其他:getset,append,strlen
getset name lqznb  # 设置新值并返回旧值 时间复杂度o(1)
append name 666  # 将value追加到旧的value 时间复杂度o(1)
strlen name  # 计算字符串长度,字节(注意中文,3个字节)  时间复杂度o(1)

### 6---其他:incrybyfloat,getrange,setrange
increbyfloat age 3.5  # 为age自增3.5,传负值表示自减 时间复杂度o(1)
getrange key start end  # 获取字符串制定下标所有的值  时间复杂度o(1)
setrange key index value  # 从指定index开始设置value值  时间复杂度o(1)

2.3 哈希hash 类型

# 只支持一层
info  {name:lqz,age:19,hobby:字符串}


### 1---hget,hset,hdel
hget key field  # 获取hash key对应的field的value 时间复杂度为 o(1)
hset key field value  # 设置hash key对应的field的value值 时间复杂度为 o(1)
hdel key field  # 删除hash key对应的field的值 时间复杂度为 o(1)

# 测试
hset user:1:info age 23
hget user:1:info ag
hset user:1:info name lqz
hgetall user:1:info
hdel user:1:info age
        
        
### 2---hexists,hlen
hexists key field  # 判断hash key 是否存在field 时间复杂度为 o(1)
hlen key   # 获取hash key field的数量  时间复杂度为 o(1)
hexists user:1:info name
hlen user:1:info  # 返回数量
        
### 3---hmget,hmset
hmget key field1 field2 ...fieldN  # 批量获取hash key 的一批field对应的值  时间复杂度是o(n)
hmset key field1 value1 field2 value2  # 批量设置hash key的一批field value 时间复杂度是o(n)

### 4--hgetall,hvals,hkeys
hgetall key  # 返回hash key 对应的所有field和value  时间复杂度是o(n)
hvals key   # 返回hash key 对应的所有field的value  时间复杂度是o(n)
hkeys key   # 返回hash key对应的所有field  时间复杂度是o(n)


### 小心使用 hgetall
## 1 计算网站每个用户主页的访问量
	hincrby user:1:info pageview count
    
## 2 缓存mysql的信息,直接设置hash格式-->
	建议用字符串,json形式存


## 其他操作 hsetnx,hincrby,hincrbyfloat
hsetnx key field value  # 设置hash key对应field的value(如果field已存在,则失败),时间复杂度o(1)
hincrby key field intCounter  # hash key 对英的field的value自增intCounter 时间复杂度o(1)
hincrbyfloat key field floatCounter  # hincrby 浮点数 时间复杂度o(1)

2.4 列表

# 有序队列,可以从左侧添加,右侧添加,可以重复,可以从左右两边弹出

# 插入操作
rpush 从右侧插入
rpush key value1 value2 ...valueN  # 时间复杂度为o(1~n)
lpush 从左侧插入

# linsert
linsert key before|after value newValue   # 从元素value的前或后插入newValue 时间复杂度o(n) ,需要遍历列表
linsert listkey before b java
linsert listkey after b php


# 删除操作
lpop key  # 从列表左侧弹出一个item 时间复杂度o(1)
rpop key  # 从列表右侧弹出一个item 时间复杂度o(1)
lrem key count value

# 根据count值,从列表中删除所有value相同的项 时间复杂度o(n)
	1 count>0 从左到右,删除最多count个value相等的项
	2 count<0 从右向左,删除最多 Math.abs(count)个value相等的项
	3 count=0 删除所有value相等的项
lrem listkey 0 a  # 删除列表中所有值a
lrem listkey -1 c  # 从右侧删除1个c
ltrim key start end  # 按照索引范围修剪列表 o(n)
ltrim listkey 1 4  # 只保留下表1--4的元素

# 查询
lrange key start end  # 包含end获取列表指定索引范围所有item  o(n)
lrange listkey 0 2
lrange listkey 1 -1  # 获取第一个位置到倒数第一个位置的元素

lindex key index  # 获取列表指定索引的item  o(n)
lindex listkey 0
lindex listkey -1

llen key #获取列表长度

# 修改
lset key index newValue  # 设置列表指定索引值为newValue o(n)
lset listkey 2 ppp  # 把第二个位置设为ppp

# 其它
blpop key timeout  # lpop的阻塞版,timeout是阻塞超时时间,timeout=0为拥有不阻塞 o(1)
brpop key timeout  # rpop的阻塞版,timeout是阻塞超时时间,timeout=0为拥有不阻塞 o(1)

# 要实现栈的功能:先进后出,后进先出---》吃了吐
lpush+lpop   

#实现队列功能:先进先出---》吃了拉--》直梯
lpush+rpop 

#固定大小的列表
lpush+ltrim   

#消息队列
lpush+brpop 

2.5 集合

sadd key element  # 向集合key添加element(如果element存在,添加失败) o(1)

srem key element  # 从集合中的element移除掉 o(1)

scard key  # 计算集合大小

sismember key element  # 判断element是否在集合中  

srandmember key count  # 从集合中随机取出count个元素,不会破坏集合中的元素 (抽奖)

spop key  # 从集合中随机弹出一个元素

smembers key  # 获取集合中所有元素 ,无序,小心使用,会阻塞住 

sdiff user:1:follow user:2:follow  # 计算user:1:follow和user:2:follow的差集

sinter user:1:follow user:2:follow  # 计算user:1:follow和user:2:follow的交集
          
sunion user:1:follow user:2:follow  # 计算user:1:follow和user:2:follow的并集
                
sdiff|sinter|suion + store destkey...  # 将差集,交集,并集结果保存在destkey集合中

2.6 有序集合

zadd key score element  # score可以重复,可以多个同时添加,element不能重复 o(logN) 
	zadd class lyf 100
	...

zrem key element  # 删除元素,可以多个同时删除 o(1)

zscore key element  # 获取元素的分数 o(1)

zincrby key increScore element  # 增加或减少元素的分数  o(1)

zcard key  # 返回元素总个数 o(1)

zrank key element  # 返回element元素的排名(从小到大排,从0开始)

zrange key 0 -1  #返回排名,不带分数  o(log(n)+m) n是元素个数,m是要获取的值

zrange player:rank 0 -1 withscores  # 返回排名,带分数

zrangebyscore key minScore maxScore  # 返回指定分数范围内的升序元素 o(log(n)+m) n是元素个数,m是要获取的值

zrangebyscore user:1:ranking 90 210 withscores  # 获取90分到210分的元素

zcount key minScore maxScore  # 返回有序集合内在指定分数范围内的个数 o(log(n)+m)

zremrangebyrank key start end  # 删除指定排名内的升序元素 o(log(n)+m)
zremrangebyrank user:1:rangking 1 2  # 删除升序排名中1到2的元素
        
zremrangebyscore key minScore maxScore  # 删除指定分数内的升序元素 o(log(n)+m)

zremrangebyscore user:1:ranking 90 210  # 删除分数90到210之间的元素
    
    
zrevrank  # 从高到低排序

zrevrange  # 从高到低排序取一定范围

zrevrangebyscore  # 返回指定分数范围内的降序元素

zinterstore  # 对两个有序集合交集

zunionstore  # 对两个有序集合求并集


# 可以写 排行榜---》金币排行,阅读排序,销量排行

客户端

# python --->redis模块

# go---》
	https://www.cnblogs.com/liuqingzheng/p/16024070.html

3、高级用法之慢查询

# 通过配置,对慢查询命令的保存,通过命令,取出保存的慢查询命令---》分析

# 两个配置
	慢查询是一个先进先出的队列
	固定长度
	保存在内存中
slowlog-max-len=128 
slowly-log-slower-than=10000  # 毫秒,超过这个毫秒的,就会被记录在队列中


# 配置
config set slowlog-log-slower-than 0
config set slowlog-max-len 100
config rewrite


# 命令
slowlog get [n]  # 查到哪个用户执行的那个命令
slowlog len    # 获取慢查询队列长度
slowlog reset  # 清空慢查询队列

4、pipline事务

# Redis的 pipeline(管道)功能 在命令行中没有,但 redis是支持 pipeline的,而且在各个语言版的 client中都有相应的实现(客户端又,py-redis,go-redis)

# 将一批命令,批量打包,在redis服务端批量计算(执行),然后把结果批量返回

# 1次pipeline(n条命令) = 1次网络时间 + n次命令时间

# pipeline 期间将 “独占” 链接,此期间将不能进行 非“管道” 类型的其他操作,直到pipeline关闭
	如果你的pipeline的指令集很庞大,为了不干扰链接中的其他操作,你可以为 pipeline操作新建 Client链接,让 pipeline和其他正常操作分离在2个client中。
	不过pipeline 事实上所能容忍的操作个数,和s ocket-output缓冲区大小/返回结果的数据尺寸都有很大的关系
	同时也意味着每个 redis-server同时所能支撑的 pipeline链接的个数,也是有限的,这将受限于server的物理内存或网络接口的缓冲能力

import redis
pool = redis.ConnectionPool(host='127.0.0.1', port=6379)
r = redis.Redis(connection_pool=pool)
# pipe = r.pipeline(transaction=False)
# 创建pipeline
pipe = r.pipeline(transaction=True)
# 开启事务
pipe.multi()
pipe.set('name', 'lqz')
# 其他代码,可能出异常
pipe.set('role', 'nb')

pipe.execute()


##### 注意:
	pipeline每次只能作用在一个Redis的节点上  集群环境中,用不了pipline


## redis支持事务操作
# 1 mutil  开启事务,放到管道中一次性执行--->管道的使用
multi   # 开启事务
set name lqz
set age 18
exec

# 2 模拟事务
# 在开启事务之前,先watch,监控age,如果被别人改了,它就改不成功了--》乐观锁
wathc age
multi
decr age
exec

# 另一台机器
multi
decr age
exec  # 先执行,上面的执行就会失败(乐观锁,被wathc的事务不会执行成功)


# 集成到项目中---demo
https://www.cnblogs.com/liuqingzheng/p/9997092.html
posted @ 2022-05-21 18:57  Deity_JGX  阅读(19)  评论(0编辑  收藏  举报