数据库之-----Redis

1.Redis简介

Redis是一款开源的，ANSI C语言编写的，高级键值(key-value)缓存和支持永久存储NoSQL数据库产品。
Redis采用内存(In-Memory)数据集(DataSet) 。
支持多种数据类型。
运行于大多数POSIX系统，如Linux、*BSD、OS X等

View Code

2.Redis功能特性

1.高速读写

2.数据类型丰富

3.支持持久化

4.多种内存分配及回收策略

5.支持事务 消息队列、

6.消息订阅

7.支持高可用

8.支持分布式分片集群

View Code

高速读写
数据类型丰富 （笔试、面试）*****
支持持久化 （笔试、面试）*****
多种内存分配及回收策略
支持事务    （面试） ****
消息队列、消息订阅 
支持高可用 ****
支持分布式分片集群 （面试） *****
缓存穿透\雪崩（笔试、面试） *****
Redis API    **

View Code

3.企业缓存产品介绍（Memcached:，Redis, Tair）

Memcached:
优点：高性能读写、单一数据类型、支持客户端式分布式集群、一致性hash
多核结构、多线程读写性能高。
缺点：无持久化、节点故障可能出现缓存穿透、分布式需要客户端实现、跨机房数据同步困难、架构扩容复杂度高

Redis:

优点：高性能读写、多数据类型支持、数据持久化、高可用架构、支持自定义虚拟内存、支持分布式分片集群、单线程读写性能极高
缺点：多线程读写较Memcached慢
新浪、京东、直播类平台、网页游戏

memcache与redis在读写性能的对比：

memcached 适合,多用户访问,每个用户少量的rw

redis 适合,少用户访问,每个用户大量rw

Tair：
优点：高性能读写、支持三种存储引擎（ddb、rdb、ldb）、支持高可用、支持分布式分片集群、支撑了几乎所有淘宝业务的缓存。
缺点：单机情况下，读写性能较其他两种产品较慢

4.Redis应用场景

数据高速缓存
web会话缓存（Session Cache）
排行榜应用
消息队列
发布订阅
等

5.Redis使用场景介绍

Memcached：多核的缓存服务，更加适合于多用户并发访问次数较少的应用场景

Redis：单核的缓存服务，单节点情况下，更加适合于少量用户，多次访问的应用场景。

Redis一般是单机多实例架构，配合redis集群出现。

6.Redis安装部署：

　　下载：
　　wget http://download.redis.io/releases/redis-3.2.12.tar.gz
　　解压：
　　上传至 /data
　　tar xzf redis-3.2.12.tar.gz
　　mv redis-3.2.12 redis
　　安装：
　　cd redis
　　make
　　启动：
　　src/redis-server &

　　环境变量：
　　vim /etc/profile
　　export PATH=/data/redis/src:$PATH
　　source /etc/profile

　　redis-server & 刚配置好可以连接，但是没有设置用户名密码

　　redis -cli -h 10.0.0.200 远程连接

　　redis - cli 本地连接

　　redis-cli shutdown 关闭redis

7.Redis基本管理操作

7.1基础配置文件介绍：

[root@standby ~]# redis-cli  shutdown 
  
mkdir /data/6379

cat >>/data/6379/redis.conf <<EOF
daemonize yes
port 6379
logfile /data/6379/redis.log
dir /data/6379
dbfilename dump.rdb
EOF

重启redis
redis-cli shutdown 
redis-server /data/6379/redis.conf 
netstat -lnp|grep 63



+++++++++++配置文件说明++++++++++++++
redis.conf
是否后台运行：
daemonize yes
默认端口：
port 6379
日志文件位置
logfile /var/log/redis.log
持久化文件存储位置
dir /data/6379
RDB持久化数据文件:
dbfilename dump.rdb
+++++++++++++++++++++++++

redis-cli
127.0.0.1:6379> set name zhangsan 
OK
127.0.0.1:6379> get name
"zhangsan"

redis-cli 客户端命令常用参数说明

redis-cli 刚装完,可以在redis服务器上直接登录redis
-p 6379   指定端口号
-h        指定链接地址
-a        指定链接密码
redis-cli  set num  10 ,无交互执行redis命令
cat /tmp/1.txt |redis-cli

[root@db01 ~]# redis-cli -h 10.0.0.51  -p 6379
10.0.0.51:6379>

　7.2 redis安全配置

　redis默认开启了保护模式，只允许本地回环地址登录并访问数据库。
  禁止protected-mode
  protected-mode yes/no （保护模式，是否只允许本地访问）

　　 (1)Bind :指定IP进行监听
　　 echo "bind 10.0.0.200 127.0.0.1" >>/data/6379/redis.conf
　　 (2)增加requirepass {password}
　　 echo "requirepass 123" >>/data/6379/redis.conf

　　重启redis
　　 redis-cli shutdown
　　 redis-server /data/6379/redis.conf

----------验证-----
方法一：
[root@db03 ~]# redis-cli -a 123
127.0.0.1:6379> set name zhangsan
OK
127.0.0.1:6379> exit
方法二：
[root@db03 ~]# redis-cli
127.0.0.1:6379> auth 123
OK
127.0.0.1:6379> set a b

7.3 在线查看和修改配置

CONFIG GET *
CONFIG GET requirepass
CONFIG SET requirepass 123

7.4 redis持久化（内存数据保存到磁盘）

作用:可以有效防止,在redis宕机后,缓存失效的问题.

　　RDB
　　AOF

RDB 持久化
可以在指定的时间间隔内生成数据集的时间点快照（point-in-time snapshot）。
优点：速度快，适合于用做备份，主从复制也是基于RDB持久化功能实现的。
缺点：会有数据丢失

rdb持久化核心配置参数：

vim /data/6379/redis.conf
dir /data/6379
dbfilename dump.rdb

save 900 1
save 300 10
save 60 10000

配置分别表示：
900秒（15分钟）内有1个更改
300秒（5分钟）内有10个更改
60秒内有10000个更改

View Code

7.5 AOF 持久化(append-only log file)

记录服务器执行的所有写操作命令，并在服务器启动时，通过重新执行这些命令来还原数据集。 
    AOF 文件中的命令全部以 Redis 协议的格式来保存，新命令会被追加到文件的末尾。
    优点：可以最大程度保证数据不丢
    缺点：日志记录量级比较大

AOF持久化配置

appendonly yes
appendfsync everysec


appendfsync always
appendfsync no

是否打开aof日志功能
每1个命令,都立即同步到aof 
每秒写1次
写入工作交给操作系统,由操作系统判断缓冲区大小,统一写入到aof.

vim /data/6379/redis.conf
appendonly yes
appendfsync everysec

View Code

面试常问点：redis 持久化方式有哪些？有什么区别？

rdb：基于快照的持久化，速度更快，一般用作备份，主从复制也是依赖于rdb持久化功能
aof：以追加的方式记录redis操作日志的文件。可以最大程度的保证redis数据安全，类似于mysql的binlog

7.6 发布订阅

PUBLISH channel msg
    将信息 message 发送到指定的频道 channel

SUBSCRIBE channel [channel ...]
    订阅频道，可以同时订阅多个频道

UNSUBSCRIBE [channel ...]
    取消订阅指定的频道, 如果不指定频道，则会取消订阅所有频道

PSUBSCRIBE pattern [pattern ...]
    订阅一个或多个符合给定模式的频道，每个模式以 * 作为匹配符，比如 it* 匹配所    有以 it 开头的频道( it.news 、 it.blog 、 it.tweets 等等)， news.* 匹配所有    以 news. 开头的频道( news.it 、 news.global.today 等等)，诸如此类

PUNSUBSCRIBE [pattern [pattern ...]]
    退订指定的规则, 如果没有参数则会退订所有规则

PUBSUB subcommand [argument [argument ...]]
    查看订阅与发布系统状态
注意：使用发布订阅模式实现的消息队列，当有客户端订阅channel后只能收到后续发布到该频道的消息，之前发送的不会缓存，必须Provider和Consumer同时在线。

发布订阅例子：

View Code

7.7 Redis事务

发布一张票
set ticket 1

窗口1：
watch ticket
multi
set ticket 0       1---->0

窗口2：
multi 
set ticket 0 
exec 

窗口1：
exec

redis的事务是基于队列实现的。
mysql的事务是基于事务日志实现的。

开启事务功能时（multi）

multi 
command1      
command2
command3
command4

4条语句作为一个组，并没有真正执行，而是被放入同一队列中。
如果，这是执行discard，会直接丢弃队列中所有的命令，而不是做回滚。

exec
当执行exec时，对列中所有操作，要么全成功要么全失败

View Code

7.8 redis乐观锁实现（模拟买票）

发布一张票
set ticket 1

窗口1：
watch ticket
multi
set ticket 0       1---->0

窗口2：
multi 
set ticket 0 
exec 

窗口1：
exec

7.9 服务器管理命令

Info
Clinet list
Client kill ip:port
config get *
CONFIG RESETSTAT 重置统计
CONFIG GET/SET 动态修改
Dbsize
FLUSHALL 清空所有数据 
select 1
FLUSHDB 清空当前库

MONITOR 监控实时指令
SHUTDOWN 关闭服务器

关闭数据库：
redis-cli -a root shutdown

8 redis（master-replicaset）主从复制

原理：
1. 从服务器向主服务器发送 SYNC 命令。
2. 接到 SYNC 命令的主服务器会调用BGSAVE 命令，创建一个 RDB 文件，并使用缓冲区记录接下来执行的所有写命令。
3. 当主服务器执行完 BGSAVE 命令时，它会向从服务器发送 RDB 文件，而从服务器则会接收并载入这个文件。
4. 主服务器将缓冲区储存的所有写命令（广播形式）发送给从服务器执行。

1、在开启主从复制的时候，使用的是RDB方式的，同步主从数据的
2、同步开始之后，通过主库命令传播的方式，主动的复制方式实现
3、2.8以后实现PSYNC的机制，实现断线重连

主从数据一致性保证：

min-slaves-to-write 1
min-slaves-max-lag 
这个特性的运作原理：
从服务器以每秒一次的频率 PING 主服务器一次， 并报告复制流的处理情况。
主服务器会记录各个从服务器最后一次向它发送 PING 的时间。

用户可以通过配置， 指定网络延迟的最大值 min-slaves-max-lag ，

以及执行写操作所需的至少从服务器数量 min-slaves-to-write 。

如果至少有 min-slaves-to-write 个从服务器， 并且这些服务器的延迟值都少于 min-slaves-max-lag秒，

那么主服务器就会执行客户端请求的写操作。

你可以将这个特性看作 CAP 理论中的 C 的条件放宽版本： 尽管不能保证写操作的持久性， 
但起码丢失数据的窗口会被严格限制在指定的秒数中。

另一方面， 如果条件达不到 min-slaves-to-write 和 min-slaves-max-lag 所指定的条件， 那么写操作就不会被执行
主服务器会向请求执行写操作的客户端返回一个错误。

主库是否要开启持久化？
如果不开有可能，主库重启操作，造成所有主从数据丢失！

主从复制实现：

1、环境：
准备两个或两个以上redis实例

mkdir /data/638{0..2}

配置文件示例：
cat >> /data/6380/redis.conf << EOF 
port 6380
daemonize yes
pidfile /data/6380/redis.pid
loglevel notice
logfile "/data/6380/redis.log"
dbfilename dump.rdb
dir /data/6380
requirepass 123
masterauth 123
EOF

cp /data/6380/redis.conf /data/6381/redis.conf
cp /data/6380/redis.conf /data/6382/redis.conf

sed -i 's#6380#6381#g' /data/6381/redis.conf
sed -i 's#6380#6382#g' /data/6382/redis.conf


启动：
redis-server /data/6380/redis.conf
redis-server /data/6381/redis.conf
redis-server /data/6382/redis.conf

netstat -lnp|grep 638
 
 
主节点：6380
从节点：6381、6382


2、开启主从：
6381/6382命令行:

redis-cli -p 6381 -a 123 SLAVEOF 127.0.0.1 6380
redis-cli -p 6382 -a 123 SLAVEOF 127.0.0.1 6380


3、查询主从状态
redis-cli -p 6380 -a 123 info replication
redis-cli -p 6381 -a 123 info replication
redis-cli -p 6382 -a 123 info replication


 
4、从库切为主库
模拟主库故障
redis-cli -p 6380 -a 123 shutdown

redis-cli -p 6381 -a 123
info replication
slaveof no one

6382连接到6381：
[root@db03 ~]# redis-cli -p 6382 -a 123
127.0.0.1:6382> SLAVEOF no one
127.0.0.1:6382> SLAVEOF 127.0.0.1 6381

View Code

redis-sentinel（哨兵）

1、监控
2、自动选主，切换（6381 slaveof no one）
3、2号从库（6382）指向新主库（6381）
4、应用透明

sentinel搭建过程

mkdir /data/26380
cd /data/26380

cat >> sentinel.conf << EOF
port 26380
dir "/data/26380"
sentinel monitor mymaster 127.0.0.1 6380 1
sentinel down-after-milliseconds mymaster 5000
sentinel auth-pass mymaster 123 
EOF
启动：
redis-sentinel /data/26380/sentinel.conf &

如果有问题：
1、重新准备1主2从环境
2、kill掉sentinel进程
3、删除sentinel目录下的所有文件
4、重新搭建sentinel

停主库测试：

[root@db01 ~]# redis-cli -p 6380
shutdown

[root@db01 ~]# redis-cli -p 6381
info replication

启动源主库（6380），看状态。

View Code

Sentinel管理命令：

redis-cli -p 26380

PING ：返回 PONG 。
SENTINEL masters ：         　　　　　　　　　　　　　　　　　　列出所有被监视的主服务器
SENTINEL slaves <master name> 
SENTINEL get-master-addr-by-name <master name> ： 　　　　　返回给定名字的主服务器的 IP 地址和端口号。 
SENTINEL reset <pattern> ： 　　　　　　　　　　　　　　　　　　重置所有名字和给定模式 pattern 相匹配的主服务器。 
SENTINEL failover <master name> ： 当　　　　　　　　　　　　　主服务器失效时， 在不询问其他 Sentinel 意见的情况下， 强制开始一次自动故障迁移。

redis cluster 集群

高性能：

1、在多分片节点中，将16384个槽位，均匀分布到多个分片节点中
2、存数据时，将key做crc16(key),然后和16384进行取模，得出槽位值（0-16383之间）
3、根据计算得出的槽位值，找到相对应的分片节点的主节点，存储到相应槽位上
4、如果客户端当时连接的节点不是将来要存储的分片节点，分片集群会将客户端连接切换至真正存储节点进行数据存储

高可用：
在搭建集群时，会为每一个分片的主节点，对应一个从节点，实现slaveof的功能，同时当主节点down，实现类似于sentinel的自动failover的功能。

1、redis会有多组分片构成（3组）
2、redis cluster 使用固定个数的slot存储数据（一共16384slot）
3、每组分片分得1/3 slot个数（0-5500  5501-11000  11001-16383）
4、基于CRC16(key) % 16384 ====》值 （槽位号）。

规划、搭建过程：
6个redis实例，一般会放到3台硬件服务器
注：在企业规划中，一个分片的两个分到不同的物理机，防止硬件主机宕机造成的整个分片数据丢失。
端口号：7000-7005

1、安装集群插件

EPEL源安装ruby支持
yum install ruby rubygems -y

使用国内源
gem sources -l
gem sources -a http://mirrors.aliyun.com/rubygems/ 
gem sources  --remove https://rubygems.org/
gem sources -l
gem install redis -v 3.3.3

2、集群节点准备

mkdir /data/700{0..5}

cat >> /data/7000/redis.conf << EOF
port 7000
daemonize yes
pidfile /data/7000/redis.pid
loglevel notice
logfile "/data/7000/redis.log"
dbfilename dump.rdb
dir /data/7000
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF

cp /data/7000/redis.conf /data/7001/redis.conf
cp /data/7000/redis.conf /data/7002/redis.conf
cp /data/7000/redis.conf /data/7003/redis.conf
cp /data/7000/redis.conf /data/7004/redis.conf
cp /data/7000/redis.conf /data/7005/redis.conf

sed -i 's#7000#7001#g' /data/7001/redis.conf
sed -i 's#7000#7002#g' /data/7002/redis.conf
sed -i 's#7000#7003#g' /data/7003/redis.conf
sed -i 's#7000#7004#g' /data/7004/redis.conf
sed -i 's#7000#7005#g' /data/7005/redis.conf

启动节点：

redis-server /data/7000/redis.conf 
redis-server /data/7001/redis.conf 
redis-server /data/7002/redis.conf 
redis-server /data/7003/redis.conf 
redis-server /data/7004/redis.conf 
redis-server /data/7005/redis.conf 

查看节点：
ps -ef |grep redis

3、将节点加入集群管理

redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 \
127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005

4、集群状态查看

集群主节点状态
redis-cli -p 7000 cluster nodes | grep master
集群从节点状态
redis-cli -p 7000 cluster nodes | grep slave

5、集群节点管理

5.1 增加新的节点

mkdir /data/7006
mkdir /data/7007

vim /data/7006/redis.conf
port 7006
daemonize yes
pidfile /data/7006/redis.pid
loglevel notice
logfile "/data/7006/redis.log"
dbfilename dump.rdb
dir /data/7006
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes


vim /data/7007/redis.conf
port 7007
daemonize yes
pidfile /data/7007/redis.pid
loglevel notice
logfile "/data/7007/redis.log"
dbfilename dump.rdb
dir /data/7007
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes


redis-server /data/7006/redis.conf 
redis-server /data/7007/redis.conf 

5.2 添加主节点：
redis-trib.rb add-node 127.0.0.1:7006 127.0.0.1:7000

5.3 转移slot（重新分片）
redis-trib.rb reshard 127.0.0.1:7000

5.4 添加一个从节点
redis-trib.rb add-node --slave --master-id 1c98b2b2ce18f88c76821cdb82dba4defaa5eb48 127.0.0.1:7007 127.0.0.1:7000


6.删除节点

6.1 将需要删除节点slot移动走
redis-trib.rb reshard 127.0.0.1:7000


6.2 删除一个节点
删除master节点之前首先要使用reshard移除master的全部slot,然后再删除当前节点
redis-trib.rb del-node 127.0.0.1:7006 1c98b2b2ce18f88c76821cdb82dba4defaa5eb48
redis-trib.rb del-node 127.0.0.1:7007 00185d1cf069b23468d5863202ac651f0d02a9f8

View Code

redis的多API支持

python为例：

tar xf Python-3.5.2.tar.xz 
cd  Python-3.5.2
./configure
make && make install


https://redis.io/clients

下载redis-py-master.zip


安装驱动：

unzip redis-py-master.zip

cd redis-py-master
python3 setup.py install


安装redis-cluser的客户端程序

cd redis-py-cluster-unstable
python3 setup.py install

View Code

1、对redis的单实例进行连接操作

python3
>>>import redis
>>>r = redis.StrictRedis(host='10.0.0.200', port=6379, db=0,password='123')
>>>r.set('foo', 'bar')
True
>>>r.get('foo')
'bar'

2、sentinel集群连接并操作

[root@db01 ~]# redis-server /data/6380/redis.conf
[root@db01 ~]# redis-server /data/6381/redis.conf
[root@db01 ~]# redis-server /data/6382/redis.conf 
[root@db01 ~]# redis-sentinel /data/26380/sentinel.conf &

## 导入redis sentinel包
>>>from redis.sentinel import Sentinel  
##指定sentinel的地址和端口号
>>> sentinel = Sentinel([('localhost', 26380)], socket_timeout=0.1)  
##测试，获取以下主库和从库的信息
>>> sentinel.discover_master('mymaster')  
>>> sentinel.discover_slaves('mymaster')  

##配置读写分离
#写节点
>>> master = sentinel.master_for('mymaster', socket_timeout=0.1,password="123")  
#读节点
>>> slave = sentinel.slave_for('mymaster', socket_timeout=0.1,password="123")  
###读写分离测试   key     
>>> master.set('oldboy', '123')  
>>> slave.get('oldboy')  
'123'

redis cluster的连接并操作（python2.7.2以上版本才支持redis cluster，我们选择的是3.5）
https://github.com/Grokzen/redis-py-cluster

3、python连接rediscluster集群测试

使用
python3
>>> from rediscluster import StrictRedisCluster  
>>> startup_nodes = [{"host": "127.0.0.1", "port": "7000"},{"host": "127.0.0.1", "port": "7001"},{"host": "127.0.0.1", "port": "7002"}]  
### Note: decode_responses must be set to True when used with python3  
>>> rc = StrictRedisCluster(startup_nodes=startup_nodes, decode_responses=True)  
>>> rc.set("foo0000", "bar0000")  
True  
>>> print(rc.get("foo0000"))  
'bar'

缓存穿透
概念
访问一个不存在的key，缓存不起作用，请求会穿透到DB，流量大时DB会挂掉。

解决方案
采用布隆过滤器，使用一个足够大的bitmap，用于存储可能访问的key，不存在的key直接被过滤；
访问key未在DB查询到值，也将空值写进缓存，但可以设置较短过期时间。

缓存雪崩
概念
大量的key设置了相同的过期时间，导致在缓存在同一时刻全部失效，造成瞬时DB请求量大、压力骤增，引起雪崩。

解决方案
可以给缓存设置过期时间时加上一个随机值时间，使得每个key的过期时间分布开来，不会集中在同一时刻失效。

缓存击穿
概念
一个存在的key，在缓存过期的一刻，同时有大量的请求，这些请求都会击穿到DB，造成瞬时DB请求量大、压力骤增。

解决方案
在访问key之前，采用SETNX（set if not exists）来设置另一个短期key来锁住当前key的访问，访问结束再删除该短期key。

posted @ 2019-01-17 22:42 粗糙的丸子阅读(99) 评论(0) 收藏举报

刷新页面返回顶部

粗糙的丸子

数据库之-----Redis

1.Redis简介

2.Redis功能特性

3.企业缓存产品介绍（Memcached:，Redis, Tair）

4.Redis应用场景

5.Redis使用场景介绍

7.Redis基本管理操作

7.1基础配置文件介绍：

redis-cli 客户端命令常用参数说明

7.2 redis安全配置

7.3 在线查看和修改配置

7.4 redis持久化（内存数据保存到磁盘）

rdb持久化核心配置参数：

7.5 AOF 持久化(append-only log file)

AOF持久化配置

面试常问点：redis 持久化方式有哪些？有什么区别？

7.6 发布订阅

发布订阅例子：

7.7 Redis事务

开启事务功能时（multi）

7.8 redis乐观锁实现（模拟买票）

7.9 服务器管理命令

8 redis（master-replicaset）主从复制

主从复制实现：

redis-sentinel（哨兵）

停主库测试：

Sentinel管理命令：

redis cluster 集群

1、安装集群插件

2、集群节点准备

3、将节点加入集群管理

4、集群状态查看

5、集群节点管理

redis的多API支持

python为例：

1、对redis的单实例进行连接操作

2、sentinel集群连接并操作

3、python连接rediscluster集群测试

公告

　7.2 redis安全配置