Redis非关系型数据库
Redis是一个基于内存的Key-Value非关系型数据库，由C语言进行编写。
Redis速度快的原因：基于内存、单线程、支持多路复用。
2.Redis的数据类型
Redis中提供了七种数据类型，分别是String、Hash、List、Set、ZSet、HyperLogLog、BitMap。
2.1 String
Key对应的Value是一个字符串类型。
#设置字符串类型的Key
set key value
#仅当Key不存在时设置字符串类型的Key
setnx key value
#设置字符串类型的Key并添加过期时间
setex key second value
#获取Key对应的Value
get key
#让Key对应的Value值递增1
incr key
#让Key对应的Value值递减1
decr key
#让Key对应的Value递增指定的数值
incrby key num
#让Key对应的Value递减指定的数值
decrby key num
#往Key对应的Value中追加字符串
append key str
*在使用set、append命令时，如果Key不存在则创建，否则替换Key对应的Value值。
*在使用incr、incrby、decr、decrby命令时，如果Key不存在则初始化为0后再进行操作，如果Key对应的Value不是数值类型字符串，那么将会报错。
2.2 Hash
Key对应的Value是一个哈希类型，每个哈希类型中都包含若干个键值对（属性名与属性值）
#往Hash中添加一个属性
hset key field value
#仅当Key不存在时往Hash中添加一个属性
hsetnx key field value
#往Hash中添加多个属性
hmset key field1 value1 field2 value2
#获取Hash中指定的一个属性
hget key field
#获取Hash中指定的多个属性
hmget key field1 field2
#获取Hash中所有的属性
hgetall key
#让Hash中指定的属性递增指定的数值(属性值必须是数值类型)
hincrby key field num
#判断Hash中指定的属性是否存在
hexists key field
#获取Hash中属性的个数
hlen key
#获取Hash中所有的属性名
hkeys key
#获取Hash中所有的属性值
hvals key
#删除Hash中指定的多个属性
hdel key field1 field2
*在使用hset、hmset命令时，如果Key不存在则创建，否则往Key对应的Hash中添加属性，如果属性名相同则替换属性值。
*Hash中只有hincryby命令，没有类似String的incr、decr、decrby命令。
*当使用hdel命令删除了Hash中的所有属性，那么此时Key也会被删除。
2.3 List
Key对应的Value是一个列表类型（有序可重复）
#从链表的左侧添加元素 lpush key value #从链表的右侧添加元素 rpush key value #仅当Key存在时从链表的左侧添加元素 lpushx key value #仅当Key存在时从链表的右侧添加元素 rpushx key value #获取链表中指定索引范围的元素(从链表的左侧开始遍历,包括begin和end的位置,如果end为-1表示倒数第一个元素) lrange key begin end #从链表的左侧弹出一个元素 lpop key #从链表的右侧弹出一个元素 rpop key #获取链表中元素的个数 llen key #删除链表中指定个数个Value(若count为正数，则从链表的左侧开始删除指定个数个Value，若count为负数，则从链表的右侧开始删除指定个数个Value，若count为0，则删除链表中所有指定的Value) lrem key count value #设置链表中指定索引的值 lset key index value #从链表的右侧弹出元素并将其放入到其他链表的左侧(一般用在消息队列的备份) rpoplpush key otherKey
*当使用lpush、rpush命令时，如果Key不存在则创建，否则往Key对应的链表中追加元素。
*通过Redis的List可以实现队列和栈结构，当遵循lpush、rpop时，此时为队列结构，当遵循lpush、lpop时，此时为栈结构。
2.4 Set
Key对应的Value是一个集合类型（无序不可重复）
#往Set中添加元素
sadd key value
#删除Set中指定的元素
srem key value
#查看Set中的元素
smembers key
#判断Set中是否包含某个元素
sismemeber key value
#返回Set中元素的个数
scard set
#返回两个Set的交集
sinter set1 set2
#返回两个Set的并集
sunion set1 set2
#返回Set1中Set2没有的元素(补集)
sdiff set1 set2
#将Set1和Set2的交集放入到新的Set中
sinterstore destSet set1 set2
#将Set1和Set2的并集放入到新的Set中
sunionstore destSet set1 set2
#将Set1中Set2没有的元素放入到新的Set中
sdiffstore destSet set1 set2
*在使用sadd命令时，如果Key不存在则创建，否则往Key对应的Set中追加元素。
2.5 ZSet
Key对应的Value是一个有序集合（分数可以相同但Value不能相同）
#往ZSet中添加元素 zadd key score value #获取ZSet中指定Value的分数 zscore key value #返回ZSet中元素的个数 zcard key #获取ZSet中指定索引范围的元素(包括begin和end的位置,end为-1时表示倒数第一个元素) zrange key begin end #获取ZSet中指定索引范围的元素以及分数,返回的元素按照分数从小到大排序 zrange key begin end withscores #获取ZSet中指定索引范围的元素以及分数,返回的元素按照分数从大到小进行排序 zrevrange key begin end withscores #获取ZSet中指定分数范围的元素(包括begin和end的位置) zrangebyscore key begin end #获取ZSet中指定分数范围的元素并限制返回的个数 zrangebyscore key begin end limit num #返回ZSet中指定分数范围元素的个数 zcount key begin end #删除ZSet中指定的元素 zrem key value #删除ZSet中指定分数范围的元素(包括begin和end的位置) zremrangebyscore key begin end #让ZSet中指定元素的分数递增指定的值 zincrby key score value
*当使用zadd命令时，如果Key不存在则创建，否则往Key对应的ZSet中添加元素，如果Value相同则更新Score。
*Set、ZSet中没有类似String、Hash、List的，当Key不存在或存在时才进行操作的命令。
2.6 HyperLogLog
Key对应的Value是一个HyperLogLog，用于做基数统计（支持在集群中使用）
#往HyperLogLog中添加元素
pfadd key value [value]
#统计HyperLogLog中的基数
pfcount key
#将多个HyperLogLog合并成一个
pfmerge destkey originKey [originKey...]
HyperLogLog是用于做基数统计的算法，优点是在输入元素的数量或者体积非常大时，计算基数所需要的空间是固定的（12KB）
HyperLogLog只会根据输入元素来计算基数，并不会存储元素本身。
2.7 BitMap
Key对应的Value是一个BitMap（位数组），数组的大小被限制在512M之内，因此最大的长度为512 * 1024 * 1024个字节。
#设置bitMap，并指定offset，value取值为0或1
setbit key offset value
#获取bitMap中指定offset的value
getbit key offset
#返回bitMap中value为1的个数
bitcount key
#进行bitMap之间的与、或、非、异或运算，并将运算后的结果放入目标bitmap
bitop and/or/not/xor destKey sourceKey [sourceKey]
BitMap是一个位数组，存在offset，value只能是0或者1，可以使用BitMap来做日活统计，每天对应一个BitMap，如果用户登录了，则使用userId来作为offset，并且对应的value设置为1，最终使用bitcount命令统计bitmap中value为1的个数，也就是当天的日活，当有多天的bitmap后，可以使用bitop命令进行一些与或运算，得到不同维度的统计。
2.8 通用命令
#查看Redis中的Key(支持通配符,*代表任意个字符,?代表任意一个字符) keys pattern #删除Key del key
#redis4.0支持使用unlink来删除大Key，避免使用del命令删除大Key时长时间阻塞，导致Redis短暂无法对外提供服务
unlink key
#判断Key是否存在 exists key #对Key进行重命名 rename oldKey newKey #对Key设置过期时间 expire key seconds #查看Key的有效时间(若Key没有设置过期时间则返回-1) ttl key #查看Key的类型 type key
3.Redis事务
Redis中提供了事务的功能，Redis会将事务中的所有命令当作一个原子执行，即一个事务在执行时不会被其他命令所干扰。
#开启事务
multi
#执行事务
exec
#放弃事务
discard
4.Redis的持久化
由于Redis是基于内存的Key-Value非关系型数据库，因此当Redis服务挂掉后由于内存被释放会导致数据丢失，此时可以使用Redis的持久化功能。
4.1 RDB持久化方式
RDB持久化方式即Redis每隔一定时间，就会将内存中的所有Key-Value写入到磁盘文件中（全量写入），当Redis服务重启时，读取RDB文件自动进行数据的恢复。
RDB持久化方式是默认开启的，可以通过redis.conf配置文件中修改相关配置。
#在900秒内如果至少有1个Key发生变化,那么执行一次写入操作 save 900 1 #在300秒内如果至少有10个Key发生改变,那么执行一次写入操作 save 300 10 #在60秒内如果至少有10000个Key发生改变,那么执行一次写入操作 save 60 10000 #rdb文件的保存路径(相对于redis.conf文件) dir ./ #rdb文件的名称 dbfilename dump.rdb
*使用RDB持久化方式有很大可能会发生Key的修改未来得及写入到磁盘中服务器就宕机了（可以调整默认的同步策略）
*RDB持久化方式由Redis进程执行fork操作创建子进程来完成，因此阻塞只会发生在fork阶段，客户端可以通过save、bgsave命令手动触发RDB操作，其中save命令会阻塞redis进程直到RDB持久化完成，而bgsave命令由redis进程fork子进程进行完成。
4.2 AOF持久化方式
AOF持久化方式即Redis将所有的Key-Value操作都写入到日志文件中（追加，增量写入），当Redis服务重启时，读取AOF文件自动进行数据的恢复。
AOF持久化方式提供了三种同步策略：每修改同步、每秒同步、不同步。
#开启AOF方式 appendonly yes #AOF文件名 appendfilename "appendonly.aof" #AOF同步策略 #每修改同步 appendsync always #每秒同步 appendsync everysec #不同步 appendsync no
*AOF持久化方式也是由Redis进程执行fork操作创建子进程来完成，并且当日志文件达到一定大小时Redis会对其压缩（重写）
*当同时使用RDB和AOF持久化方式时，数据的恢复将固定使用AOF的。
RDB持久化方式与AOF持久化方式的区别
1.文件大小：AOF持久化方式所产生的日志文件要比RDB持久化方式所产生的rdb文件要大。
2.安全性：AOF持久化方式数据丢失的可能性要比RDB持久化方式低。
3.效率：AOF持久化方式在进行数据恢复时的效率要比RDB持久化方式的低。
5.Redis的过期清除策略
Redis中可以对Key设置过期时间，当Key已经到达过期时间时，并不会立即被删除，而是通过Redis的过期清除策略进行处理。
Redis中使用惰性删除和主动删除两种过期策略
惰性删除：当访问一个已经过期的Key时，将该Key删除。
主动删除：Redis定时删除缓存中部分过期的Key，通过抽样的方式保证Redis中过期的Key在低于25%以下。
*Redis定时删除缓存中部分过期的Key是通过Redis常规任务处理的，常规任务还包含其他一些任务处理，可以通过修改redis.conf配置文件中的hz参数来调整Redis常规任务的执行频率，默认值是10，表示每秒执行10次，其取值为1~500，但Redis不建议该值超过100，否则会影响其他的业务请求，造成延时。
6.Redis的内存淘汰机制
当Redis中有效数据使用的内存大小达到预配置的maxmemory时，将会触发Redis的内存淘汰机制，按预先设置的淘汰策略主动删除缓存中部分的Key。
Redis中提供了六种淘汰策略：
1.allkeys-lru（推荐）：删除最近最少使用的Key。
2.volatile-lru：在设置了过期时间的Key中，删除最近最少使用的Key。
3.allkeys-random：随机删除Key。
4.volatile-random：在设置了过期时间的Key中随机删除Key。
5.volatile-ttl：删除即将过期的Key。
6.noeviction：不清除，对于写请求直接返回错误。
*可以通过redis.conf配置文件中的maxmemory-policy参数设置Redis的淘汰策略。
7.Redis的应用场景
7.1 使用Redis作为分布式缓存
简单的把对象放入Redis，需要避免Redis中的数据与数据库的不一致。
7.2 使用Redis作为分布式锁（保持独占）
通过Redis中的一个Key来进行控制，当Key已存在，则表示锁已经被其它线程锁持有，当Key不存在时，设置Key，表示获取锁资源。
1.如何保证当系统宕机时锁也能够被释放？
通过对Key设置过期时间，当Key已经过期并再次访问时，通过惰性删除过期策略删除该Key。
2.如何保证获取锁时的同步性？
通过使用Redis提供的set(String key, String value, String nxxx, String expx, long time)命令，将判断Key是否存在以及设置Key作为一个原子操作。
3.如何保证释放的锁是当前线程的？
给Key设置一个代表当前线程的Value，当删除该Key时判断Value是否属于当前线程的。
/** * 获取锁 */ publicbooleangetLock(Stringkey, Stringvalue, intsecond) { return"OK".equalsIgnoreCase(jedis.set(key, value, "nx", "ex", second)); } /** * 释放锁 */ publicbooleanunLock(Stringkey, Stringvalue) { if(value.equals(jedis.get(key))) { jedis.del(key); returntrue; } returnfalse; }
7.3 使用Redis进行数量控制（秒杀）以及频次控制（错误次数）
数量控制（秒杀、抢购）
1.系统在抢购前初始化该Key对应的Value。
2.在进行抢购时直接使用decr命令，并根据返回值判断是否抢购成功，当返回值大于等于0，表示抢购成功，否则抢购失败。
*依赖incr、incrby、decr、decrby命令的返回值，可以避免并发导致的同步问题（不需要获取值再判断是否大于0，因为不是原子操作，会有同步问题）
频次控制（登录错误次数）
1.用户输入用户名以及密码，首先判断代表用户的Key是否存在，仅当Key不存在或Key的值小于所允许的最大登录错误次数时，执行登录操作，否则不允许登录。
2.执行登录操作，如果登录成功则继续处理，否则使用incr命令+1（Key不存在时初始化为0再操作），并根据命令返回值判断当前的错误次数是否已经达到了所允许的最大值，若达到了则设置Key的过期时间。
7.4 使用Redis进行限流
限流的算法一般有计数器、漏桶、令牌桶。
1.如果接口的QPS为100，那么先执行incr命令，如果incr命令的返回值为1，表示Redis中之前不存在这个key，那么设置过期时间为1s，然后继续处理。
2.如果incr的返回值不为1，同时小于等于100，则继续处理，否则将被限流。
7.5 使用Redis作为注册中心
分布式服务框架的注册中心。
8.使用Redis面临的问题
8.1 缓存雪崩
缓存雪崩即Redis中有大量的Key集中时间失效，那么此时所有的客户端请求都会去到数据库中，从而增加了数据库的压力。
*解决缓存雪崩的方法是对于被频繁访问的Key不设置过期时间，对于不频繁访问的Key分散设置过期时间。
8.2 缓存穿透
缓存穿透即不断查询Redis中不存在Key，从而占用Redis以及数据库的连接，容易被恶意占用资源。
*解决缓存穿透的方法是当数据库查询不到记录时，也将该Key放入到缓存中，其Value是一个空字符串。
8.3 缓存击穿
缓存击穿即Redis中一个被高并发访问的Key突然过期，那么此时将会有大量的请求直接去到数据库，从而增加了数据库的压力。
*解决缓存击穿的方法是对于被频繁访问的Key不设置过期时间。
8.4 关于Redis中的数据与数据库的不一致
当使用Redis作为分布式缓存时如何避免Redis中的数据与数据库的不一致
1.当查询记录时，先从缓存中进行查询，如果缓存中已存在则直接返回，否则从数据库进行查询，然后将记录放入到缓存并且设置过期时间。
2.当新增记录时，先执行SQL，如果有必要的话则放入缓存（因为并不一定所有新增的记录在它的过期时间内就能够被访问，因此为了节省空间，可以在第一次查询时才放入缓存(需要注意缓存击穿问题)
3.当更新记录时，先执行SQL，再删除缓存，如果删除失败则重试。
4.当删除记录时，先执行SQL，再删除缓存，如果删除失败则重试。
为什么当更新记录时，要先执行SQL再删除缓存？
因为如果是先删除缓存再执行SQL，那么有可能在删除缓存以及执行SQL这个过程，如果有其他线程查询这条记录，那么将会把数据库的旧值放入到缓存，最终导致缓存中的数据是新的，数据库中的数据是旧的。
为什么当更新记录时，不能够直接更新缓存？
如果存在线程A和线程B同时修改同一条记录，如果SQL的执行顺序是先执行线程A再执行线程B，那么数据库将会是线程B更新的值，如果缓存的更新顺序是先执行线程B再执行线程A，那么缓存中将会是线程A的值，最终导致缓存中的数据与数据库的不一致，因为应用程序与数据库以及应用程序与Redis都是通过网络进行通讯的，竟然是通过网络进行通讯，那么就不能够保证请求的顺序性（除非加上分布式锁）
由于一些特殊情况，还是有可能导致Redis中的数据与数据库的不一致（比如在执行更新SQL后，应用或者Redis服务宕机）
1.由于缓存项有设置过期时间，当缓存项到达过期时间后自动被清除。
2.定期对缓存进行全量更新（把所有缓存项删除或者重新初始化缓存）
*导致缓存中的数据与数据库中的不一致主要是在更新的过程。
9.Redis的安装
1.下载Redis源码并进行解压
2.由于Redis是使用C语言编写的，因此需要安装gcc编译器，并使用make命令进行编译
make
3.进行redis的安装
make PREFIX=/usr/redis install
*安装完后生成bin目录，里面包含一些Redis的可执行命令。
4.将redis源码目录下的redis.conf配置文件复制到安装目录中，并将配置文件中的daemonize改为yes，通过后台的方式启动Redis
5.启动Redis Server
*Redis Server是一个进程，包含了若干个线程，但只有一个线程用于处理客户端的请求（Redis单线程处理任务，不会出现共享变量不一致的问题）
6.启动Redis Client
*Redis Server中包含16个数据库，编号从0~15，每个数据库之间的数据相互独立，客户端默认连接的是第一个数据库，可以通过select num命令修改连接的数据库。
10.Java中使用Redis
Jedis是Redis官方推荐的Redis Java客户端类库。
1.导入依赖
<dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>3.0.1</version> </dependency>
2.获取Redis连接
//1.直接创建Jedis实例 Jedisjedis=newJedis(Stringhost, intport); //2.通过Jedis连接池来管理连接 JedisPoolConfigpoolConfig=newJedisPoolConfig(); //最大连接数 poolConfig.setMaxTotal(intnum); //最大空闲连接数 poolConfig.setMaxIdle(intnum); //创建连接池对象 JedisPooljedisPool=newJedisPool(poolConfig, Stringhost, intport); //获取Redis连接 Jedisjedis=jedisPool.getResource();
*当Redis连接使用完毕后需要手动关闭。
/** * @Auther: ZHUANGHAOTANG * @Date: 2019/4/2 17:11 * @Description: */ publicclassRedisUtils{ privatestaticfinalStringhost="192.168.1.80"; privatestaticfinalintport=6379; privatestaticJedisPooljedisPool=null; static{ JedisPoolConfigpoolConfig=newJedisPoolConfig(); //最大连接数 poolConfig.setMaxTotal(10); //最大空闲连接数 poolConfig.setMaxIdle(5); //创建连接池对象 jedisPool=newJedisPool(poolConfig, host, port); } publicstaticJedisgetConnection() { returnjedisPool.getResource(); } }
