Redis

NoSQL

(NoSQL = Not Only SQL ),意即“不仅仅是SQL”。泛指非关系型的数据库。

NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题,包括超大规模数据的存储。这些类型的数据存储不需要固定的模式,无需多余操作就可以横向扩展。

特点

易扩展:

特点是去掉关系数据库的关系型特性。数据之间无关系,这样就非常容易扩展。也无形之间,在架构的层面上带来了可扩展的能力。

大数据量高性能:

非常高的读写性能,尤其在大数据量下,同样表现优秀。这得益于它的无关系性,数据库的结构简单。
一般MySQL使用Query Cache,每次表的更新Cache就失效,是一种大粒度的Cache,在针对web2.0的交互频繁的应用,Cache性能不高。而NoSQL的Cache是记录级的,是一种细粒度的Cache,所以NoSQL在这个层面上来说就要性能高很多了

多样灵活的数据模型:

无需事先为要存储的数据建立字段,随时可以存储自定义的数据格式。而在关系数据库里,增删字段是一件非常麻烦的事情。如果是非常大数据量的表,增加字段简直就是一个噩梦

 

 Redis概述

是啥

Redis:REmote DIctionary Server(远程字典服务器)

是完全开源免费的,用C语言编写的,遵守BSD协议,是一个高性能的(key/value)分布式内存数据库,基于内存运行并支持持久化的NoSQL数据库。

 

特点:

Redis支持数据的持久化,可以将内存中的数据保持在磁盘中,重启的时候可以再次加载进行使用。

Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储。

Redis支持数据的备份,即master-slave模式的数据备份。

 

下载地址:

Http://redis.io/

Http://www.redis.cn/

 

安装

Windows版安装:

Window 下安装
下载地址:https://github.com/dmajkic/redis/downloads
下载到的Redis支持32bit和64bit。根据自己实际情况选择,将64bit的内容cp到自定义盘符安装目录取名redis。 如 C:\reids
打开一个cmd窗口 使用cd命令切换目录到 C:\redis 运行 redis-server.exe redis.conf 。
如果想方便的话,可以把redis的路径加到系统的环境变量里,这样就省得再输路径了,后面的那个redis.conf可以省略,
如果省略,会启用默认的。

这时候另启一个cmd窗口,原来的不要关闭,不然就无法访问服务端了。
切换到redis目录下运行 redis-cli.exe -h 127.0.0.1 -p 6379 。
设置键值对 set myKey abc
取出键值对 get myKey

 

Linux版安装:

1. 下载获得redis-3.0.4.tar.gz后将它放入我们的Linux目录/opt

2. /opt目录下,解压命令:tar -zxvf redis-3.0.4.tar.gz

3. 解压完成后出现文件夹:redis-3.0.4

4. 进入目录:cd redis-3.0.4

5. 在redis-3.0.4目录下执行make命令

6. 如果make完成后继续执行make install

7. 查看默认安装目录:usr/local/bin

Redis-benchmark:性能测试工具,可以在自己本子运行,看看自己本子性能如何

Redis-check-aof:修复有问题的AOF文件

Redis-check-dump:修复有问题的dump.rdb文件

Redis-cli:客户端,操作入口

Redis-sentinel:redis集群使用

Redis-server:Redis服务器启动命令

8. 启动

修改redis.conf文件将里面的daemonize no 改成 yes,让服务在后台启动

将默认的redis.conf拷贝到自己定义好的一个路径下,比如/myconf

启动# redis-server /目录/redis.conf

连通测试# redis-cli

ping

返回结果为PONG

/usr/local/bin目录下运行redis-server,运行拷贝出存放了自定义conf文件目录下的redis.conf文件

9. helloworld

set key1 helloworld

get key1

10. 关闭

单实例关闭:redis-cli shutdown

多实例关闭,指定端口关闭:redis-cli -p 6379 shutdown

 

其他讲解:

单进程

单进程模型来处理客户端的请求。对读写等事件的响应是通过对epoll函数的包装来做到的。Redis的实际处理速度完全依靠主进程的执行效率

Epoll是Linux内核为处理大批量文件描述符而作了改进的epoll,是Linux下多路复用IO接口select/poll的增强版本,它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。

默认16个数据库,类似数组下表从零开始,初始默认使用零号库

Select命令切换数据库

Dbsize查看当前数据库的key的数量

Flushdb:清空当前库

Flushall;通杀全部库

统一密码管理,16个库都是同样密码,要么都OK要么一个也连接不上

Redis索引都是从零开始

 

Redis数据类型

5大数据类型

1. String(字符串)

string是redis最基本的类型,一个key对应一个value。

string类型是二进制安全的。意思是redis的string可以包含任何数据。比如jpg图片或者序列化的对象 。

string类型是Redis最基本的数据类型,一个redis中字符串value最多可以是512M

2. Hash(哈希,类似java里的Map)

Redis hash 是一个键值对集合。Redis hash是一个string类型的field和value的映射表,hash特别适合用于存储对象。类似Java里面的Map<String,Object>

3. List(列表)

Redis 列表是简单的字符串列表,按照插入顺序排序。你可以添加一个元素导列表的头部(左边)或者尾部(右边)。它的底层实际是个链表

4. Set(集合)

Redis的Set是string类型的无序集合。它是通过HashTable实现实现的

5. Zset(sorted set:有序集合)

Redis zset 和 set 一样也是string类型元素的集合,且不允许重复的成员。不同的是每个元素都会关联一个double类型的分数。redis正是通过分数来为集合中的成员进行从小到大的排序。zset的成员是唯一的,但分数(score)却可以重复。

 

redis常见数据类型操作命令

Http://redisdoc.com/

 

键(key)

例: 

keys *

exists key的名字,判断某个key是否存在

move key db   --->当前库就没有了,被移除了

expire key 秒钟:为给定的key设置过期时间

ttl key 查看还有多少秒过期,-1表示永不过期,-2表示已过期

type key 查看你的key是什么类型

 

Redis字符串(String)

单值单value

例:

set/get/del/append/strlen

Incr/decr/incrby/decrby,一定要是数字才能进行加减

getrange:获取指定区间范围内的值,类似between......and的关系 ,从零到负一表示全部

setrange:设置指定区间范围内的值,格式是setrange key值 具体值

setex(set with expire)键秒值/setnx(set if not exist):setex 键 秒值 真实值;setnx:只有在 key 不存在时设置 key 的值。

mset/mget/msetnx:mset:同时设置一个或多个 key-value 对;mget:获取所有(一个或多个)给定 key 的值;msetnx:同时设置一个或多个 key-value 对,当且仅当所有给定 key 都不存在。

getset(先get再set):getset:将给定 key 的值设为 value ,并返回 key 的旧值(old value)。简单一句话,先get然后立即set

 

Redis列表(List)

单值多value

例:

 lpush/rpush/lrange

 lpop/rpop

 lindex,按照索引下标获得元素(从上到下):lindex key index

 llen

 lrem key 删N个value:从left往right删除2个值等于v1的元素,返回的值为实际删除的数量;LREM list3 0 值,表示删除全部给定的值。零个就是全部值

 ltrim key 开始index 结束index,截取指定范围的值后再赋值给key

 rpoplpush 源列表 目的列表:移除列表的最后一个元素,并将该元素添加到另一个列表并返回

 lset key index value

 linsert key  before/after 值1 值2:在list某个已有值的前后再添加具体值

它是一个字符串链表,left、right都可以插入添加;
如果键不存在,创建新的链表;
如果键已存在,新增内容;
如果值全移除,对应的键也就消失了。
链表的操作无论是头和尾效率都极高,但假如是对中间元素进行操作,效率就很惨淡了。

 

Redis集合(Set)

单值多value

例:

 sadd/smembers/sismember

 scard,获取集合里面的元素个数

 srem key value 删除集合中元素

 srandmember key 某个整数(随机出几个数):如果超过最大数量就全部取出,如果写的值是负数,比如-3 ,表示需要取出3个,但是可能会有重复值。

 spop key 随机出栈

 smove key1 key2 在key1里某个值      作用是将key1里的某个值赋给key2

数学集合类:

差集:sdiff  在第一个set里面而不在后面任何一个set里面的项

交集:sinter

并集:sunion

 

Redis哈希(Hash)

KV模式不变,但V是一个键值对

例:

 hset/hget/hmset/hmget/hgetall/hdel

 hlen

 hexists key 在key里面的某个值的key

 hkeys/hvals

 hincrby/hincrbyfloat

 hsetnx:不存在赋值,存在了无效。

 

Redis有序集合Zset(sorted set)

在set基础上,加一个score值。
之前set是k1 v1 v2 v3,
现在zset是k1 score1 v1 score2 v2

例:

 zadd/zrange (Withscores)

 zrangebyscore key 开始score 结束score:withscores; (   不包含;Limit 作用是返回限制  limit 开始下标步 多少步

 zrem key 某score下对应的value值,作用是删除元素

 zcard/zcount key score区间/zrank key values值,作用是获得下标值/zscore key 对应值,获得分数

 zrevrank key values值,作用是逆序获得下标值

 zrevrange

 zrevrangebyscore  key 结束score 开始score

 

配置文件redis.conf

 Units单位

1 配置大小单位,开头定义了一些基本的度量单位,只支持bytes,不支持bit
2 对大小写不敏感

 

INCLUDES包含

通过includes包含,redis.conf可以作为总闸,包含其他

 

GENERAL通用

Daemonize

Pidfile

Port

Tcp-backlog:设置tcp的backlog,backlog其实是一个连接队列,backlog队列总和=未完成三次握手队列 + 已经完成三次握手队列。在高并发环境下你需要一个高backlog值来避免慢客户端连接问题。注意Linux内核会将这个值减小到/proc/sys/net/core/somaxconn的值,所以需要确认增大somaxconn和tcp_max_syn_backlog两个值来达到想要的效果

Timeout

Bind 

Tcp-keepalive:单位为秒,如果设置为0,则不会进行Keepalive检测,建议设置成60 

Loglevel

Logfile

Syslog-enabled:是否把日志输出到syslog中

Syslog-ident:指定syslog里的日志标志

Syslog-facility:指定syslog设备,值可以是USER或LOCAL0-LOCAL7

Databases

 

SNAPSHOTTING快照

save: save 秒钟 写操作次数

RDB是整个内存的压缩过的Snapshot,RDB的数据结构,可以配置复合的快照触发条件,

默认是1分钟内改了1万次,或5分钟内改了10次,或15分钟内改了1次。

如果想禁用RDB持久化的策略,只要不设置任何save指令,或者给save传入一个空字符串参数也可以

 

Stop-writes-on-bgsave-error:如果配置成no,表示你不在乎数据不一致或者有其他的手段发现和控制

rdbcompression:对于存储到磁盘中的快照,可以设置是否进行压缩存储。如果是的话,redis会采用LZF算法进行压缩。如果你不想消耗CPU来进行压缩的话,可以设置为关闭此功能

rdbchecksum:在存储快照后,还可以让redis使用CRC64算法来进行数据校验,但是这样做会增加大约10%的性能消耗,如果希望获取到最大的性能提升,可以关闭此功能

dbfilename

dir

 

REPLICATION复制

 

SECURITY安全

访问密码的查看、设置和取消

config get requirepass

config set requirepass "123456"

auth 123456

 

LIMITS限制

Maxclients:设置redis同时可以与多少个客户端进行连接。默认情况下为10000个客户端。当你无法设置进程文件句柄限制时,redis会设置为当前的文件句柄限制值减去32,因为redis会为自身内部处理逻辑留一些句柄出来。如果达到了此限制,redis则会拒绝新的连接请求,并且向这些连接请求方发出“max number of clients reached”以作回应。

Maxmemory:设置redis可以使用的内存量。一旦到达内存使用上限,redis将会试图移除内部数据,移除规则可以通过maxmemory-policy来指定。如果redis无法根据移除规则来移除内存中的数据,或者设置了“不允许移除”,那么redis则会针对那些需要申请内存的指令返回错误信息,比如SET、LPUSH等。

但是对于无内存申请的指令,仍然会正常响应,比如GET等。如果你的redis是主redis(说明你的redis有从redis),那么在设置内存使用上限时,需要在系统中留出一些内存空间给同步队列缓存,只有在你设置的是“不移除”的情况下,才不用考虑这个因素

Maxmemory-policy:

(1)volatile-lru:使用LRU算法移除key,只对设置了过期时间的键
(2)allkeys-lru:使用LRU算法移除key
(3)volatile-random:在过期集合中移除随机的key,只对设置了过期时间的键
(4)allkeys-random:移除随机的key
(5)volatile-ttl:移除那些TTL值最小的key,即那些最近要过期的key
(6)noeviction:不进行移除。针对写操作,只是返回错误信息

Maxmemory-samples:设置样本数量,LRU算法和最小TTL算法都并非是精确的算法,而是估算值,所以你可以设置样本的大小,redis默认会检查这么多个key并选择其中LRU的那个

 

APPEND ONLY MODE追加

appendonly

appendfilename

Appendfsync

No-appendfsync-on-rewrite:重写时是否可以运用Appendfsync,用默认no即可,保证数据安全性。

Auto-aof-rewrite-min-size:设置重写的基准值

Auto-aof-rewrite-percentage:设置重写的基准值

 

常见配置redis.conf介绍

redis.conf 配置项说明如下:
1. Redis默认不是以守护进程的方式运行,可以通过该配置项修改,使用yes启用守护进程
daemonize no
2. 当Redis以守护进程方式运行时,Redis默认会把pid写入/var/run/redis.pid文件,可以通过pidfile指定
pidfile /var/run/redis.pid
3. 指定Redis监听端口,默认端口为6379,为什么选用6379作为默认端口,因为6379在手机按键上MERZ对应的号码,而MERZ取自意大利歌女Alessia Merz的名字
port 6379
4. 绑定的主机地址
bind 127.0.0.1
5.当 客户端闲置多长时间后关闭连接,如果指定为0,表示关闭该功能
timeout 300
6. 指定日志记录级别,Redis总共支持四个级别:debug、verbose、notice、warning,默认为verbose
loglevel verbose
7. 日志记录方式,默认为标准输出,如果配置Redis为守护进程方式运行,而这里又配置为日志记录方式为标准输出,则日志将会发送给/dev/null
logfile stdout
8. 设置数据库的数量,默认数据库为0,可以使用SELECT <dbid>命令在连接上指定数据库id
databases 16
9. 指定在多长时间内,有多少次更新操作,就将数据同步到数据文件,可以多个条件配合
save <seconds> <changes>
Redis默认配置文件中提供了三个条件:
save 900 1
save 300 10
save 60 10000
分别表示900秒(15分钟)内有1个更改,300秒(5分钟)内有10个更改以及60秒内有10000个更改。

10. 指定存储至本地数据库时是否压缩数据,默认为yes,Redis采用LZF压缩,如果为了节省CPU时间,可以关闭该选项,但会导致数据库文件变的巨大
rdbcompression yes
11. 指定本地数据库文件名,默认值为dump.rdb
dbfilename dump.rdb
12. 指定本地数据库存放目录
dir ./
13. 设置当本机为slav服务时,设置master服务的IP地址及端口,在Redis启动时,它会自动从master进行数据同步
slaveof <masterip> <masterport>
14. 当master服务设置了密码保护时,slav服务连接master的密码
masterauth <master-password>
15. 设置Redis连接密码,如果配置了连接密码,客户端在连接Redis时需要通过AUTH <password>命令提供密码,默认关闭
requirepass foobared
16. 设置同一时间最大客户端连接数,默认无限制,Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数,如果设置 maxclients 0,表示不作限制。当客户端连接数到达限制时,Redis会关闭新的连接并向客户端返回max number of clients reached错误信息
maxclients 128
17. 指定Redis最大内存限制,Redis在启动时会把数据加载到内存中,达到最大内存后,Redis会先尝试清除已到期或即将到期的Key,当此方法处理 后,仍然到达最大内存设置,将无法再进行写入操作,但仍然可以进行读取操作。Redis新的vm机制,会把Key存放内存,Value会存放在swap区
maxmemory <bytes>
18. 指定是否在每次更新操作后进行日志记录,Redis在默认情况下是异步的把数据写入磁盘,如果不开启,可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的,所以有的数据会在一段时间内只存在于内存中。默认为no
appendonly no
19. 指定更新日志文件名,默认为appendonly.aof
appendfilename appendonly.aof
20. 指定更新日志条件,共有3个可选值:
no:表示等操作系统进行数据缓存同步到磁盘(快)
always:表示每次更新操作后手动调用fsync()将数据写到磁盘(慢,安全)
everysec:表示每秒同步一次(折衷,默认值)
appendfsync everysec

21. 指定是否启用虚拟内存机制,默认值为no,简单的介绍一下,VM机制将数据分页存放,由Redis将访问量较少的页即冷数据swap到磁盘上,访问多的页面由磁盘自动换出到内存中(在后面的文章我会仔细分析Redis的VM机制)
vm-enabled no
22. 虚拟内存文件路径,默认值为/tmp/redis.swap,不可多个Redis实例共享
vm-swap-file /tmp/redis.swap
23. 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0
vm-max-memory 0
24. Redis swap文件分成了很多的page,一个对象可以保存在多个page上面,但一个page上不能被多个对象共享,vm-page-size是要根据存储的 数据大小来设定的,作者建议如果存储很多小对象,page大小最好设置为32或者64bytes;如果存储很大大对象,则可以使用更大的page,如果不 确定,就使用默认值
vm-page-size 32
25. 设置swap文件中的page数量,由于页表(一种表示页面空闲或使用的bitmap)是在放在内存中的,,在磁盘上每8个pages将消耗1byte的内存。
vm-pages 134217728
26. 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的,可能会造成比较长时间的延迟。默认值为4
vm-max-threads 4
27. 设置在向客户端应答时,是否把较小的包合并为一个包发送,默认为开启
glueoutputbuf yes
28. 指定在超过一定的数量或者最大的元素超过某一临界值时,采用一种特殊的哈希算法
hash-max-zipmap-entries 64
hash-max-zipmap-value 512
29. 指定是否激活重置哈希,默认为开启(后面在介绍Redis的哈希算法时具体介绍)
activerehashing yes
30. 指定包含其它的配置文件,可以在同一主机上多个Redis实例之间使用同一份配置文件,而同时各个实例又拥有自己的特定配置文件
include /path/to/local.conf

 

Redis的持久化

RDB(Redis DataBase)

在指定的时间间隔内将内存中的数据集快照写入磁盘,也就是行话讲的Snapshot快照,它恢复时是将快照文件直接读到内存里

Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。整个过程中,主进程是不进行任何IO操作的,这就确保了极高的性能如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失。

Fork的作用是复制一个与当前进程一样的进程。新进程的所有数据(变量、环境变量、程序计数器等)数值都和原进程一致,但是是一个全新的进程,并作为原进程的子进程

Rdb 保存的是dump.rdb文件

配置位置:(SNAPSHOTTING快照)

命令save或者是bgsave

  Save:save时只管保存,其它不管,全部阻塞

  BGSAVE:Redis会在后台异步进行快照操作,快照同时还可以响应客户端请求。可以通过lastsave命令获取最后一次成功执行快照的时间

  执行flushall命令,也会产生dump.rdb文件,但里面是空的,无意义

如何恢复

  将备份文件 (dump.rdb) 移动到 redis 安装目录并启动服务即可

  CONFIG GET dir获取目录

优势

  适合大规模的数据恢复

  对数据完整性和一致性要求不高

劣势

  在一定间隔时间做一次备份,所以如果redis意外down掉的话,就会丢失最后一次快照后的所有修改

  Fork的时候,内存中的数据被克隆了一份,大致2倍的膨胀性需要考虑

如何停止:动态所有停止RDB保存规则的方法:redis-cli config set save ""

 

AOF(Append Only File)

以日志的形式来记录每个写操作,将Redis执行过的所有写指令记录下来(读操作不记录),只许追加文件但不可以改写文件,redis启动之初会读取该文件重新构建数据,换言之,redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作

Aof保存的是appendonly.aof文件

配置位置:(APPEND ONLY MODE追加)

 

AOF启动/修复/恢复

正常恢复

  启动:设置Yes:修改默认的appendonly no,改为yes

  将有数据的aof文件复制一份保存到对应目录(config get dir)

  恢复:重启redis然后重新加载

异常恢复

  启动:设置Yes:修改默认的appendonly no,改为yes

  备份被写坏的AOF文件

  修复:Redis-check-aof --fix进行修复

  恢复:重启redis然后重新加载

 

Rewrite

AOF采用文件追加方式,文件会越来越大为避免出现此种情况,新增了重写机制,当AOF文件的大小超过所设定的阈值时,Redis就会启动AOF文件的内容压缩,只保留可以恢复数据的最小指令集.可以使用命令bgrewriteaof

重写原理,AOF文件持续增长而过大时,会fork出一条新进程来将文件重写(也是先写临时文件最后再rename),遍历新进程的内存中数据,每条记录有一条的Set语句。重写aof文件的操作,并没有读取旧的aof文件,而是将整个内存中的数据库内容用命令的方式重写了一个新的aof文件,这点和快照有点类似

触发机制,Redis会记录上次重写时的AOF大小,默认配置是当AOF文件大小是上次rewrite后大小的一倍且文件大于64M时触发

 

优势

  每修改同步:appendfsync always   同步持久化 每次发生数据变更会被立即记录到磁盘  性能较差但数据完整性比较好

  每秒同步:appendfsync everysec    异步操作,每秒记录   如果一秒内宕机,有数据丢失

  不同步:appendfsync no   从不同步

劣势

  相同数据集的数据而言aof文件要远大于rdb文件,恢复速度慢于rdb

  Aof运行效率要慢于rdb,每秒同步策略效率较好,不同步效率和rdb相同

 

总结

RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储

AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF命令以redis协议追加保存每次写的操作到文件末尾.Redis还能对AOF文件进行后台重写,使得AOF文件的体积不至于过大

只做缓存:如果你只希望你的数据在服务器运行的时候存在,你也可以不使用任何持久化方式.

同时开启两种持久化方式:

  在这种情况下,当redis重启的时候会优先载入AOF文件来恢复原始的数据,因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整.

  RDB的数据不实时,同时使用两者时服务器重启也只会找AOF文件。那要不要只使用AOF呢?作者建议不要,因为RDB更适合用于备份数据库(AOF在不断变化不好备份),快速重启,而且不会有AOF可能潜在的bug,留着作为一个万一的手段。

 

性能建议:

因为RDB文件只用作后备用途,建议只在Slave上持久化RDB文件,而且只要15分钟备份一次就够了,只保留save 900 1这条规则。
如果Enalbe AOF,好处是在最恶劣情况下也只会丢失不超过两秒数据,启动脚本较简单只load自己的AOF文件就可以了。代价一是带来了持续的IO,二是AOF rewrite的最后将rewrite过程中产生的新数据写到新文件造成的阻塞几乎是不可避免的。只要硬盘许可,应该尽量减少AOF rewrite的频率,AOF重写的基础大小默认值64M太小了,可以设到5G以上。默认超过原大小100%大小时重写可以改到适当的数值。
如果不Enable AOF ,仅靠Master-Slave Replication 实现高可用性也可以。能省掉一大笔IO也减少了rewrite时带来的系统波动。代价是如果Master/Slave同时倒掉,会丢失十几分钟的数据,启动脚本也要比较两个Master/Slave中的RDB文件,载入较新的那个。新浪微博就选用了这种架构

 

Redis的事务

可以一次执行多个命令,本质是一组命令的集合。一个事务中的所有命令都会序列化,按顺序地串行化执行而不会被其它命令插入,不许加塞

一个队列中,一次性、顺序性、排他性的执行一系列命令

正常执行

  MULTI

  ......

  EXEC

放弃事务

  MULTI

  ......

  DISCARD

全体连坐(一个都不执行)

  MULTI

  ......

  问题语句(输入后即报错,类似于编译错误)

  ......

  EXEC

冤头债主(对的执行,错的抛出)

  MULTI

  ......

  问题语句(输入后正常,类似于运行时错误,比如说1/0,或者对汉字加1)

  ......

  EXEC

WATCH监控

  WATCH XXX(监控了key XXX)

  ......(若此处无数据篡改,则事务正常执行;如果key被修改了,后面一个事务的执行失效,执行返回nil)

  (UNWATCH)(可以取消监控)

  MULTI

  ......

  EXEC

一旦执行了exec之前加的监控锁都会被取消掉了

Watch指令,类似乐观锁,事务提交时,如果Key的值已被别的客户端改变,比如某个list已被别的客户端push/pop过了,整个事务队列都不会被执行

通过WATCH命令在事务执行之前监控了多个Keys,倘若在WATCH之后有任何Key的值发生了变化,EXEC命令执行的事务都将被放弃,同时返回Nullmulti-bulk应答以通知调用者事务执行失败

 

小结

开启:以MULTI开始一个事务

入队:将多个命令入队到事务中,接到这些命令并不会立即执行,而是放到等待执行的事务队列里面

执行:由EXEC命令触发事务

 

特性

单独的隔离操作:事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中,不会被其他客户端发送来的命令请求所打断。

没有隔离级别的概念:队列中的命令没有提交之前都不会实际的被执行,因为事务提交前任何指令都不会被实际执行,也就不存在”事务内的查询要看到事务里的更新,在事务外查询不能看到”这个让人万分头痛的问题

不保证原子性:redis同一个事务中如果有一条命令执行失败,其后的命令仍然会被执行,没有回滚

 

Redis的复制(Master/Slave)

也就是我们所说的主从复制,主机数据更新后根据配置和策略,自动同步到备机的master/slaver机制,Master以写为主,Slave以读为主

读写分离  容灾恢复

 

方式

1. 配从(库)不配主(库)

2. 从库配置:slaveof 主库IP 主库端口  每次与master断开之后,都需要重新连接,除非你配置进redis.conf文件;Info replication

3. 修改配置文件细节操作

  拷贝多个redis.conf文件

  开启daemonize yes

  Pid文件名字

  指定端口

  Log文件名字

  Dump.rdb名字

4. 基本模式

  一主二仆:一个Master两个Slave  从机从头开始复制;不可写;主机shutdown后,从机原地待命;

  薪火相传:上一个Slave可以是下一个slave的Master,Slave同样可以接收其他slaves的连接和同步请求,那么该slave作为了链条中下一个的master,可以有效减轻master的写压力;  中途变更转向:会清除之前的数据,重新建立拷贝最新的  Slaveof 新主库IP 新主库端口

  反客为主:SLAVEOF no one  使当前数据库停止与其他数据库的同步,转成主数据库

 

复制原理

Slave启动成功连接到master后会发送一个sync命令

Master接到命令启动后台的存盘进程,同时收集所有接收到的用于修改数据集命令,在后台进程执行完毕之后,master将传送整个数据文件到slave,以完成一次完全同步

全量复制:而slave服务在接收到数据库文件数据后,将其存盘并加载到内存中。

增量复制:Master继续将新的所有收集到的修改命令依次传给slave,完成同步

但是只要是重新连接master,一次完全同步(全量复制)将被自动执行

 

哨兵模式(sentinel)

反客为主的自动版,能够后台监控主机是否故障,如果故障了根据投票数自动将从库转换为主库

自定义的/myredis目录下新建sentinel.conf文件,名字绝不能错

配置哨兵,填写内容: sentinel monitor 被监控数据库名字(自己起名字) 127.0.0.1 6379 1

上面最后一个数字1,表示主机挂掉后salve投票看让谁接替成为主机,得票数多少后成为主机

启动哨兵:Redis-sentinel /myredis/sentinel.conf   目录依照各自的实际情况配置

原有的master挂了,会投票新选

重新主从继续开工,info replication查查看

如果之前的master重启回来,会变为slave

一组sentinel能同时监控多个Master

 

复制缺点

复制延时:由于所有的写操作都是先在Master上操作,然后同步更新到Slave上,所以从Master同步到Slave机器有一定的延迟,当系统很繁忙的时候,延迟问题会更加严重,Slave机器数量的增加也会使这个问题更加严重。

 

posted @ 2020-11-08 20:05  地狱门  阅读(93)  评论(0)    收藏  举报