Redis设计与实现——单机数据库的实现

数据库

服务器中的数据库

redisClient切换数据库

redis客户端默认目标数据库为0号数据库,可以通过SELECT命令来切换目标数据库。

客户端状态redisClient结构的db属性记录了客户端当前的目标数据库,这个属性是指向redisdb结构的指针。

typedef struct redisClient{
    //记录客户端当前正在使用的数据库
    redisDb *db;
} redisClient;

数据库键空间

Redis是一个键值对数据库服务器,服务器中的每个数据库都由一个redis.h/redisDb结构表示,其中redisDB的dict字典保存了数据库中的所有键值对,我们将这个字典称为键空间。

typedef struct redisDb{
    // 数据库键空间,保存着数据库中的所有键值对
    dict *dict
} redisDb;

键空间和用户所见的数据库是直接对应的:

1)键空间的键也就是数据库的键,每个键都是一个字符串对象。

2)键空间的值也就是数据库的值,每个值可以是字符串对象,列表对象,哈希表对象,集合对象和有序集合对象中任意一种Redis对象。

e.g.

redis > SET message "hello world"
ok
redis > RPUSH alphabet "a" "b" "c"
3
redis > HSET book namr "Redis in Action"
1
redis > HSET book author "Josiah L. Carlson"
1
redis > HSET book publisher "Manning"
1

 

读写键空间时的维护操作

当使用Redis命令对数据库进行读写时,服务器不仅对键空间执行指定的读写操作。还会执行一些额外的维护工作。

1)对一个键的读取命中次数和未命中次数,在INFO stats命令的keyspace_hits属性和keyspace_misses属性中查看。

2)读取一个键之后,服务器会更新键的LRU时间,这个值可以用于计算键的闲置时间。

3)读取一个键发现键已经过期了,那么服务器会删除这个过期键,然后才执行余下的其他操作。

4)如果有客户端使用WATCH命令监视某个键,被修改之后会记为脏(dirty),让事务程序注意到这修改。

5)每次修改一个键之后,都会对脏(dirty)键计数器的值增1,这个计数器会触发服务器的持久化以及复制操作。

 6)键的修改触发数据库通知功能。

设置键的生存时间或过期时间

保存过期键:

typedef struct redisDb{
    //过期字典,保存着键的过期时间
    dict *expires;
} redisDb;

 

移除过期时间,计算并返回剩余生存时间,过期键的判定类似。

过期键删除策略

 三种策略;定时删除,惰性删除,定期删除。

redis的过期删除策略

Redis服务器实际使用的是惰性删除和定期删除两种策略:通过配合使用这两种删除策略,服务器可以很好地合理使用CPU时间和避免浪费内存空间之间取得平衡。

懒性删除策略的实现:                                                                                                       定期删除策略的实现:

             

AOF,RDB和复制功能对过期键的处理

 RDB持久化:

生成RDB文件将过滤过期键。

载入RDB文件,如果是主服务器模式运行,过滤过期键;如果是从服务器模式运行,则一并载入,主从数据同步会清空从节点数据,所以不会有影响。

 

AOF持久化:

同样对写AOF文件,会过滤过期键。

 

复制功能:

数据库通知

总结

 

RDB持久化

RDB文件的创建和载入

 

保存RDB二进制文件,使用SAVE,BGSAVE,其中save命令会堵塞进程,而bgsave会启动后台进程。如果启动了AOF持久化,那优先载入AOF日志。

自动间隔性保存

#设置保存条件
save 900 1        服务器在900秒之内,对数据库进行了至少1次修改
save 300 10      服务器在300秒之内,对数据库进行了至少10次修改
save  60  10000  服务器在60秒之内,对数据库进行了至少10000次修改

#实现
struct redisServer{
    //计入了保存条件的数组
    struct saveparam *saveparam
    //dirty修改计数器  表示服务器在上次保存后,对数据库状态共进行多少次修改
    long long dirty
    //上一次执行保存的时间
    time_t   lastsave       
}

struct saveparam {
    //秒数
    time_t  seconds;
    //修改数
    int changes
}

#检查保存条件是否满足,则每隔100毫秒周期性执行ServerCron函数,遍历条件数组saveparam,对满足条件的数据库,计数器置为0,并更新上次保存时间。

 总结:

AOF持久化

与RDB持久化不同的是,aof持久化是通过写命令来保存数据库状态,而RDB保存的是键值对。

 

AOF持久化实现

AOF持久化功能分为:命令追加,文件写入,文件同步三个步骤。

命令追加:

struct redisServer{
    //AOF缓冲区     写命令按照一定格式会追加到缓冲区
    sds aof_buf;
}

AOF文件的写入与同步:

def eventLoop():
       while True :
            #处理文件事件,接受命令请求以及发送命令回复
             processFileEvents()
             #处理时间事件  类似于ServerCron定期执行函数
             processTimeEvents()
            #考虑是否将aof_buf中的内容写入和保存到AOF文件里面,三个选项
             flushAppendOnlyFile()

AOF文件的载入与数据还原

AOF文件重写

Redis服务器可以创建一个新的AOF文件来替代现有的AOF文件,新旧两个AOF文件所保存的数据库状态相同。

但新的AOF文件不包含冗余命令,所以体积相对较小。

 

AOF后台重写:

为了解决数据不一致问题,Redis服务器设置了一个AOF重写缓冲区,这个缓冲区在服务器创建子进程之后开始使用

子进程完成AOF重写工作之后,会向父进程发送一个信号,父进程会调用一个信号处理函数并执行以下操作:

1)将AOF重写缓冲区中所有内容写入新AOF文件中,这时新AOF保存的数据库状态==服务器当前数据库状态;

2)对新的AOF文件改名,原子替换旧的AOF文件;

注意:只有信号处理函数执行时会对服务器进程造成堵塞,对性能造成的影响降到最低

 

总结:

事件

文件事件:

I/O多路复用程序总是会将所有产生事件的套接字都放在一个队列里面,并串行化地向文件事件分派器传送套接字。

时间事件

服务器将所有时间事件都放在一个无序链表中,每当时间事件执行器运行时,它就会遍历整个链表,查找所有已到达的时间事件,并调用相应的事件处理器。

Redis时间事件分为两类:

定时事件:让一段程序在指定的时间之后执行一次。

周期性事件:让一段程序每隔指定时间就执行一次。

事件的调度与执行

 

总结:

客户端

struct redisServer{
    //一个保存所有client的链表
    list *clients;
}

 

客户端属性

typedef  struct redisClient{
    //套接字描述符
    int fd;

    //名字
    robj *name;

    //标志,记录客户端角色,以及目前所处的状态
    int flag;

   //输入缓冲区 用于保存客户端发出的命令请求
    sds querybuf;

//其他 如命令参数,参数个数,输出缓冲区,身份认证,时间 }redisClient;

 客户端的创建与关闭

当客户端与服务器通过网络建立连接时,服务器就会调用连接处理事件,为客户端创建相应的客户端状态,并将新的客户端状态添加到服务器状态结构clients链表的尾链。

伪客户端:

Lua脚本的伪客户端

AOF文件的伪客户端

总结:

服务端

 

posted @ 2017-08-08 16:46  gaojy  阅读(...)  评论(...编辑  收藏