Redis的安装及学习

最近因为做Chatbot项目需要对于NoSQL数据库进行研究,调研范围包括MongoDB和Redis。本文将介绍Redis在Windows环境的安装及如何利用python来操作Redis数据库。

Redis基础

redis是Key Value nosql数据库,数据存储在内存中,单进程,自己实现了一套异步事件处理,虽然单进程但是数据库处理很快,异步持久化。

Redis有5种数据类型:

  • string,最基本的数据类型,也是其他四种数据类型的基础,能存储任何形式的字符创。适用:存储信息对象序列化JSON格式。get/set操作
  • hash,哈希类型是一个字符串类型的字段和字段值的映射表,将一个对象存成hash类型占用更少的内存,并且可以更方便的存取整个对象。适用:经常被并发请求的小数据查询,如:最近五日的超高返商品数据,存储在Hash中,field=商品ID,value=商品信息(对象序列化JSON格式)。hmset/hgetall操作。
  • list,链表类型可以存储一个有序的字符串列表,用链表类型的LPUSH和LPOP或者RPUSH和RPOP实现栈的功能,用LPUSH和RPOP或者RPUSH和LPOP实现队列的功能。适用:作为信息队列使用,不断的Lpush数据到List中,rpop数据出来入库,或者处理。列表的最大长度为 232 - 1 个元素(4294967295,每个列表的元素超过四十亿)。lpush list_name list_element/ lrange list_name start_index end_index
  • set,集合类型。集合元素是唯一的,无序的。集合间可以进行交并差操作。sadd/smembers
  • zset,有序集合类型,在set的基础上多了一个有序。适用:搜索关键字排名。zadd/zrangebyscore

Redis优点

  • 异常快速 : Redis是非常快的,每秒可以执行大约110000设置操作,81000个/每秒的读取操作。
  • 支持丰富的数据类型 : Redis支持最大多数开发人员已经知道如列表,集合,可排序集合,哈希等数据类型。这使得在应用中很容易解决的各种问题,因为我们知道哪些问题处理使用哪种数据类型更好解决。
  • 支持pub/sub消息订阅机制,可以用来进行消息订阅与通知。
  • 支持持久化操作,可以进行aof及rdb数据持久化到磁盘,从而进行数据备份或数据恢复等操作,较好的防止数据丢失的手段。
    *操作都是原子的 : 所有 Redis 的操作都是原子,从而确保当两个客户同时访问 Redis 服务器得到的是更新后的值(最新值)。

Redis缺点

  • Redis只能使用单线程,性能受限于CPU性能,故单实例CPU最高才可能达到5-6wQPS每秒
  • Redis在string类型上会消耗较多内存,可以使用dict(hash表)压缩存储以降低内存耗用。

Redis注意事项:

  • Redis的键命名必须按照"object-type:id:field(表:主键:列)"的方式
    具体的命名规范包括:1)内存数据库,键名长度影响有限内存空间,所以命名应该控制长度,简短易懂;2)大小写规范;3)根据业务命名,相同业务统一的Key前缀
    数据库的主要功能是储存数据,但是对于开发者来说,因为应用程序需求或者数据使用方法的改变,忽略存储在数据库中的某些数据是非常正常的,在Redis中同样如此。你可能忽视期满某些键,也可能因为应用程序的某个模块弃用而忘掉这些数据。无论哪种情况,Redis都存储了一些不再使用的数据,平白无故的占用了一些空间。Redis的弱结构数据模式让集中储存的内容很难被弄清,除非你为键使用一套非常成熟的命名法则。使用合适的命名方法会简化你的数据库管理,当你通过你的应用程序或者服务做键的命名空间时(通常情况下是使用冒号来划分键名),你就可以在数据迁移、转换或者删除时轻松的识别。Redis另一个常见用例是作为热数据项作的第二数据存储,大部分的数据被保存在其他的数据库中,比如PostgreSQL或MongoDB。在这些用例中,当数据从主存储移除时,开发者经常会忘记删除Redis中对应的数据。这种存在跨数据存储的情况下,通常需要做级联删除,这种情况下,可以通过在Redis配置保存特定数据项的所有识别符来实现,从而保证数据在主数据库被删除后,系统会调用一个清理程序来删除所有相关副本和信息。
  • 使用合适的数据结构
    不管是内存使用或者是性能,有的时候数据结构将产生很大的影响,下面是一些可以参考的最佳实践:
    取代将数据存储为数千(或者数百万)独立的字符串,可以考虑使用哈希数据结构将相关数据进行分组。哈希表是非常有效率的,并且可以减少你的内存使用;同时,哈希还更有益于细节抽象和代码可读。合适时候,使用list代替set。如果你不需要使用set特性,List在使用更少内存的情况下可以提供比set更快的速度。Sorted sets是最昂贵的数据结构,不管是内存消耗还是基本操作的复杂性。如果你只是需要一个查询记录的途径,并不在意排序这样的属性,那么轻建议使用哈希表。文章Redis键值设计以实际的业务需求为例介绍如何使用Redis的数据结构,可以作为参考。
    Redis中一个经常被忽视的功能就是bitmaps或者bitsets(V2.2之后)。Bitsets允许你在Redis值上执行多个bit-level操作,比如一些轻量级的分析。
  • 控制Redis的内存
    Redis内存不足的原因包括三个方面:1)数据不断累加,无效数据未清理,缓存未设置过期时间;2)存储数据中包含未使用到字段,整个对象序列化到redis中;3)冷数据,或者根本不会再去使用的无效数据没有清理。
    解决方法:1)数据区分无效时间,设置过期时间,使无效数据过期;(如:通过日期后缀命名Key);2)区分冷数据,清理掉冷数据;缓存数据从简,redis key命名从简,数据字段命名从简,无效字段不添加在缓存中。

Redis和MongoDB的区别:

  • Redis不适用于长期累加的数据(比如大数据),这些数据应该考虑hbase或者mongodb
  • Redis的读写速度比MongoDB表现好,尤其是数据集较大的情况下。
  • MongoDB的特点:(1)面向文档(2)高性能(3)高可用(4)易扩展(5)丰富的查询语言,mongoDB适合大数据量的存储,依赖操作系统VM做内存管理,吃内存也比较厉害,服务不要和别的服务在一起。MongoDB:主要解决海量数据的访问效率问题,Redis:数据量较小的更性能操作和运算上。

Windows安装Redis

因为开发环境在Windows下,因此还是选择在windwos环境下安装Redis。Redis官方并没有给出官网安装包,但有一个开源项目时跟进的,可以在其Github主页 上下载对应的安装包。
我下载的是3.0.53的包,新建目录“c:\redis”,解压缩安装包放在这个目录中。
然后输入命令就可以看到启动界面了:

c:\redis>redis-server.exe redis.windows.conf

为了避免避免反复输入命令麻烦,可以直接注册成为windows服务:

c:\redis>redis-server --service-install redis.windows.conf --loglevel verbose
c:\redis>net start Redis

安装完毕,再下载安装Redis Desktop Manager压压惊。

python操作Redis

python操作Redis的方法非常多,也很好用,建议大家按照自己的需要查API进行使用。这里推荐一些教程:

下面我写了一个基于redis的封装接口,方便项目调用。

from __future__ import division, absolute_import

from myutils import configs, const, const_values
from myutils.check import check_func
import redis
import types

class RedisHelper(object):
    __classname = "RedisHelper"

    @check_func(__file__, __classname)
    def __init__(self, **kwargs):
        """
        这里做了一个外壳来包装redis,好处:
        1.提供多重配置参数的输入,包括配置文件config读取等
        2.方便Singleton的调用。这样速度可以保证内存永远有一个redis接口提供调用,更快。
        :param kwargs:
        """
        if "filename" in kwargs:
            with configs.ConfigWrapper(kwargs.get("filename"), "read") as config:
                sections = config.get_sections()
                if kwargs.get("section", "NOTHING FOUND") not in sections:
                    raise Exception("Section not found: %s" % kwargs.get("section"))
            para_dict = config.get_option_dict(kwargs.get("section"))
        else:
            para_dict = kwargs
        _host="localhost" if "host" not in para_dict else para_dict.get("host")
        _port = 6379 if "port" not in para_dict else int(para_dict.get("port"))
        _db = 0 if "database" not in para_dict else int(para_dict.get("database"))
        _pw = None if "password" not in para_dict else para_dict.get("password")
        self.__cursor=redis.StrictRedis(host=_host,port=_port,db=_db,password=_pw)

    @check_func(__file__,__classname)
    def redis(self):
        """
        返回reids接口
        :return:
        """
        return self.__cursor


    @check_func(__file__, __classname)
    def close(self):
        """
        关闭,其实没有什么效果,redis本身支持线程池调度,连接的启动关闭有线程池管理,python接口无需关心。
        The connection_pool object has a disconnect method to force
        an immediate disconnect of all connections in the pool if necessary
        :return:
        """
        del self.__cursor  # 删除引用,等待垃圾回收
posted @ 2017-05-04 11:27  柯君  阅读(511)  评论(3编辑  收藏  举报