Redis是什么

一、redis的五大数据类型

1.String

2.Hash

3.list

4.set

5.sort set 

二、Redis为什么这么快

1.Redis概述

2.优点

3.Redis的单线程

三.Redis是持久化

1.RDB(RDB保存的是dump.rdb)

2.AOF

3.混合使用

四.Redis的分布式集群

1.主从复制

2.主从切换技术,哨兵模式

3.分片集群

五.缓存穿透

六.缓存击穿

七.缓存雪崩

 

一、redis的五大数据类型

 

 

 

 

 

 

1.String

string是redis最基本的类型，可以理解成与memcached一模一样的类型，一个key对应一个value。value不仅是string，也可以是数字。string类型是二进制安全的，意思是redis的string类型可以包含任何数据，比如jpg图片或者序列化的对象。string类型的值最大能存储512M。

redis没有直接使用C语言传统的字符串表示，而是自己实现的叫做简单动态字符串SDS的抽象类型。C语言的字符串不记录自身的长度信息，而SDS则保存了长度信息，这样将获取字符串长度的时间由O(N)降低到了O(1)，同时可以避免缓冲区溢出和减少修改字符串长度时所需的内存重分配次数。

2.Hash

Hash是一个键值（key-value）的集合。redis的hash是一个string的key和value的映射表，Hash特别适合存储对象。常用命令：hget,hset,hgetall等。

3.list

list列表是简单的字符串列表，按照插入顺序排序。可以添加一个元素到列表的头部（左边）或者尾部（右边） 常用命令：lpush、rpush、lpop、rpop、lrange(获取列表片段)等。应用场景：list应用场景非常多，也是Redis最重要的数据结构之一，比如twitter的关注列表，粉丝列表都可以用list结构来实现。数据结构：list就是链表，可以用来当消息队列用。redis提供了List的push和pop操作，还提供了操作某一段的api，可以直接查询或者删除某一段的元素。

实现方式：redis list的是实现是一个双向链表，既可以支持反向查找和遍历，更方便操作，不过带来了额外的内存开销。它可以实现栈或队列，也可以替代数组。

4.set

set是string类型的无序集合。集合是通过hashtable实现的。set中的元素是没有顺序的，而且是没有重复的。常用命令：sdd、spop、smembers、sunion等。应用场景：redis set对外提供的功能和list一样是一个列表，特殊之处在于set是自动去重的，而且set提供了判断某个成员是否在一个set集合中。

5.sort set 

Redis sorted set的内部使用HashMap和跳跃表(skipList)来保证数据的存储和有序，HashMap里放的是成员到score的映射，而跳跃表里存放的是所有的成员，排序依据是HashMap里存的score，使用跳跃表的结构可以获得比较高的查找效率，并且在实现上比较简单。

用于：排行榜，有序事件，评论+分页

二、Redis为什么这么快

1.Redis概述

Redis是C语言开发的一个开源的（遵从BSD协议）高性能键值对（key-value）的内存数据库，可以用作数据库、缓存、消息中间件等。它是一种NoSQL（not-only sql，泛指非关系型数据库）的数据库。

2.优点

①性能优秀，数据在内存中，读写速度非常快，支持并发10W QPS；

Redis完全基于内存，绝大部分请求是纯粹的内存操作，
非常迅速，数据存在内存中，类似于HashMap，HashMap
的优势就是查找和操作的时间复杂度是O(1)。

②单进程单线程，是线程安全的；

采用单线程，避免了不必要的上下文切换和竞争条件，
不存在多线程导致的CPU切换，不用去考虑各种锁的问题，
不存在加锁释放锁操作，没有死锁问题导致的性能消耗。

③丰富的数据类型，支持字符串（strings）、散列（hashes）、列表（lists）、集合（sets）、有序集合（sorted sets）等；

redis直接自己构建了VM机制，因为一般的系统调用系统函数的话，
会浪费一定的时间去移动和请求。

　举例memcahed

 

 

使用memcahed的时候,如果客户端发一个数据给mamcached,然后客户端要读取里面的一个数据,他需要在客户端自己准备一个算法,要把memcached那个数据全量io,取回客户端,然后再通过算法反序列化,再取到想要的数据。

但是在Redis中，它里面有很多个数据类型，它自己本身有很多个本地方法，所以想要读取数据时，可以直接调用redis的本地方法，得到我们想要的数据

④支持数据持久化。可以将内存中数据保存在磁盘中，重启时加载；

⑤主从复制，哨兵，高可用；

3.Redis的单线程

Redis完全是基于内存的操作，CPU不是Redis的瓶颈，Redis的瓶颈最有可能是机器内存的大小或者网络带宽。

也是因为单线程导致的串行，使Redis是在高并发的时候有很大优势，因为是串行，所以数据不会出错，避免了不必要的上下文切换和竞争条件，不存在多线程导致的CPU切换，不用去考虑各种锁的问题，不存在加锁释放锁操作，没有死锁问题导致的性能消耗。

 

 

 

但是单线程也有缺点,它无法充分利用硬件,因为是单线程,所以即使在多CPU的环境下,它也只能一个线程进行,所以Redis在6.0多版本的时候就使用了IO Thread,它的worker是单线程,但是Redis的IO是多线程。

 

 

 三.Redis是持久化

Redis 提供了 RDB 和 AOF 两种持久化方式，RDB 是把内存中的数据集以快照形式写入磁盘，实际操作是通过 fork 子进程执行，采用二进制压缩存储；AOF 是以文本日志的形式记录 Redis 处理的每一个写入或删除操作。

1.RDB(RDB保存的是dump.rdb)

默认Redis是会以快照"RDB"的形式将数据持久化到磁盘的一个二进制文件dump.rdb。工作原理：当Redis需要做持久化时，Redis会fork一个子进程，子进程将数据写到磁盘上一个临时RDB文件中。当子进程完成写临时文件后，将原来的RDB替换掉，这样的好处是可以copy-on-write。

(1).触发机制

①save规则满足

②执行flushall命令

③shutdown

(2).恢复

只要将rdb文件放到redis启动目录就可以了

优点:适合大规模的数据恢复

    对数据的完整性不高,

缺点:需要一定的时间间隔进程操作,如果redis意外宕机了,最后一次数据就不见了

        fork进程的时候,会占用一定的空间

 

2.AOF

以日志的形式来记录每个写操作,将redis执行过的所有指令记录下来,只许追加文件但不可以改写文件,redis启动之初会读取文件重新构建数据

优点:

①每一次修改都同步,文件的完整会更好;

②每秒同步一次,可能会丢失一秒的数据;

③效率最高.

缺点:

②相对于数据文件来说,aof远远大于rdb,修复的速度也比rdb慢;

②aof运行效率比rdb慢,所以我们redis默认的配置就是rdb持久化;

3.混合使用

因为RDB可能丢失数据多,但是AOF效率不高,恢复速度慢,所以4.0+版本后就是混合使用RDB和AOF的,在晚上8点的时候,把内存写成RDB卸载AOF文件上,8点后追加日志记录,最后形成一个AOF文件,但是文件又不会太大,丢失的数据也不会太多。

Redis怎么选择备份方式？
RDB的优点是：这种文件非常适合用于备份：比如，你可以在最近的24小时内，每小时备份一次，
并且在每个月的每一天也备份一个RDB文件。这样的话，即使遇上问题，也可以随时将数据集还原
到不同的版本。RDB非常适合灾难恢复。RDB的缺点是：如果你需要尽量避免在服务器故障时丢失
数据，那么RDB不合适你。
如果你非常关心你的数据，但仍然可以承受数分钟内的数据丢失，那么可以额只使用RDB持久。AOF
将Redis执行的每一条命令追加到磁盘中，处理巨大的写入会降低Redis的性能，不知道你是否可以
接受。数据库备份和灾难恢复：定时生成RDB快照非常便于进行数据库备份，并且RDB恢复数据集的
速度也要比AOF恢复的速度快。当然了，redis支持同时开启RDB和AOF，系统重启后，redis会优先
使用AOF来恢复数据，这样丢失的数据会最少。

 

四.Redis的分布式集群

在Redis的分布式集群中，会出现两种情况，一种是单点故障，另一种是服务器压力过大。此时会涉及到故障时怎么把数据转移，这里就用到了主从主备，也就是数据同步。压力过大则需要把数据分散出去，这里用到的是分片集群。

1.主从复制

指将一台Redis服务器的数据，复制到其他的Redis服务器。一般来说，主服务器进行写操作，从服务器进行读操作。

Redis 的一个 master 可以挂载多个 slave，而 slave 下还可以挂载多个 slave，形成多层嵌套结构。所有写操作都在 master 实例中进行，master 执行完毕后，将写指令分发给挂在自己下面的 slave 节点。slave 节点下如果有嵌套的 slave，会将收到的写指令进一步分发给挂在自己下面的 slave。

通过多个 slave，Redis 的节点数据就可以实现多副本保存，任何一个节点异常都不会导致数据丢失，同时多 slave 可以 N 倍提升读性能。master 只写不读，这样整个 master-slave 组合，读写能力都可以得到大幅提升。

①全量复制
Redis 在进行全量同步时，

 将构建 内存快照期间 的写指令，存放到复制缓冲中，当 rdb 快照构建完毕后，master 将 rdb 和复制缓冲队列中的数据全部发送给 slave，slave 完全重新创建一份数据。

这个过程，对 master 的性能损耗较大，slave 构建数据的时间也比较长，而且传递 rdb 时还会占用大量带宽，对整个系统的性能和资源的访问影响都比较大。

②增量复制
增量复制，master 只发送 slave 上次复制位置之后的写指令，不用构建 rdb，而且传输内容非常有限，对 master、slave 
的负荷影响很小，对带宽的影响可以忽略，整个系统受影响非常小。

2.主从切换技术,哨兵模式

哨兵是一个独立的进程

多哨兵模式

 

 

 

主观下线,客观下线

如果主机宕机回来之后,它就归并到新的主机下,当做从机

优点: 1.哨兵集群,基于主从复制模式,所有的主从配置优点它都有

     2.主从切换,故障可以转移,系统的可用性就会更好

     3.哨兵模式就是主从模式的升级,自动

缺点: 1.redis不好在线扩容,

     2.哨兵模式的配置麻烦

3.分片集群

下图是一张三位表，x轴为备份的Redis服务器，虽然会造成数据冗余，但是可以保证单点故障之后数据能够恢复。y轴是业务分治，比如读操作在A服务器，写操作在B服务器，而在z轴就是业务分治之后，某台服务器的压力还是太大，需要多台服务器来分散压力。

 

 

这里数据分散在多台服务器之后，服务器请求数据时，该怎么判断数据在哪一台服务器，这里有三种方式

①使用布隆过滤器

②使用代理

③Redis有自己的算法

 

 

 

 

五.缓存穿透

产生这个问题的原因可能是外部的恶意攻击，例如，对用户信息进行了缓存，但恶意攻击者使用不存在的用户id频繁请求接口，导致查询缓存不命中，然后穿透 DB 查询依然不命中。这时会有大量请求穿透缓存访问到 DB。

解决的办法如下。

1. 对不存在的用户，在缓存中保存一个空对象进行标记，防止相同 ID 再次访问 DB。不过有时这个方法并不能很好解决问题，可能导致缓存中存储大量无用数据。
2. 使用 BloomFilter 过滤器，BloomFilter 的特点是存在性检测，如果 BloomFilter 中不存在，那么数据一定不存在；如果 BloomFilter 中存在，实际数据也有可能会不存在。非常适合解决这类的问题。

六.缓存击穿

就是某个热点数据失效时，大量针对这个数据的请求会穿透到数据源。

解决这个问题有如下办法。

1. 可以使用互斥锁更新，保证同一个进程中针对同一个数据不会并发请求到 DB，减小 DB 压力。
2. 使用随机退避方式，失效时随机 sleep 一个很短的时间，再次查询，如果失败再执行更新。
3. 针对多个热点 key 同时失效的问题，可以在缓存时使用固定时间加上一个小的随机数，避免大量热点 key 同一时刻失效。

七.缓存雪崩

产生的原因是缓存挂掉，这时所有的请求都会穿透到 DB。

解决方法：

1. 使用快速失败的熔断策略，减少 DB 瞬间压力；
2. 使用主从模式和集群模式来尽量保证缓存服务的高可用。