redis——NOSQL数据库

3.11

前言：redis

NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，泛指非关系型的数据库。

NoSQL 不依赖业务逻辑方式存储，而以简单的key-value模式存储。因此大大的增加了数据库的扩展能力。

NOSQL特点：

  • 不存寻SQL标准
  • 不支持ACID（事务的四大特点：原子性、一致性、持久性、隔离性）
  • 远超SQL的性能

NOSQL适用场景：

  • 对数据高并发的读写
  • 海量数据的读写
  • 对数据高可扩展性的

NOSQL不适用的场景：

  • 需要事务支持
  • 基于sql的结构化查询存储，处理复杂的关系,需要即席查询。
  • （用不着sql的和用了sql也不行的情况，请考虑用NoSql）

Redis特点：

  • Redis是一个开源的key-value存储系统。
  • 和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。
  • 这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。
  • 在此基础上，Redis支持各种不同方式的排序。
  • 与memcached一样，为了保证效率，数据都是缓存在内存中。
  • 区别的是Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件。
  • 并且在此基础上实现了master-slave(主从)同步。

3.12

redis相关命令

  • 启动redis
redis-server /etc/redis.conf
  • 关闭redis
redis-cli shutdown
#或者进入终端后关闭
  • 用客户端访问：redis-cli
redis-cli
  • 测试验证
ping
  • 使用select [db]来指定数据库

默认有16个数据库，从0开始

select 1

redis相关知识

redis是单线程+多路IO复用的。

redis五大基本数据类型：

  1. 字符串
  2. 列表(set)
  3. 集合(set)
  4. 哈希(hash)
  5. 有序集合(Zset)

redis的String类型

  • keys * ：查看当前库所有key
keys *
  • exist+[key] ： 判断某个key是否存在
exist k1
# 查看k1是否存在
# 存在返回1，不存在返回0
  • type key ： 查看key是什么类型
type k1
  • del key 删除指定的key数据
del k1
  • unlink 根据value选择非阻塞删除

仅将keys从keyspace元数据中删除，没有真正删除，在后续的异步操作中慢慢删除

  • expire key [second] 设置key的过期时间
expire k1 10
# 过期时间为十秒钟
  • ttl key ：查看key还有多久过期
返回值 含义
-1 永不过期
-2 已过期
n(n>=0) 还剩n秒过期
  • dbsize ：查看当前数据库有多少key
  • flushdb：清空当前库
  • flushall：清空全部库
  • set ：设置k-v

如果key已经存在就会使用新的value覆盖原有的value。

  • get key ：通过key去取value
set k1 hello
get k1
  • append ：将给定的 追加到原值的末尾
set k1 笨蛋
append k1 猫猫
#会返回value的长度

  • strlen ：获取值的长度

  • setnx：只有在key不存在的时候，才能设置。

  • incr ：将存储的数字值增加1

  • incrby：将存储的数字值增加int

  • decr：将存储的数字值减少1

  • decrby：将存储的数字值减少int

重要：

  • 由于redis是单线程，所以他们操作的数据各是各的，不会相互影响——原子性
  • 区别于事务的四大特性，这里的原子性是redis专有的名词。
  • mset ：一次设置一个或多个k-v
  • mget ：一个取一个或多个值
  • msetnx ：一次设置一个或多个值

重要：msetnx 具有事务的特性，如果一个设置失败，则全部设置失败。

  • getrange ：获取value的[0,int]位置的值
set name boerk
getrange 3
# 输出结果为boer
  • setrange:在value的第int位置开始使用覆盖原数值。
set name boerk
setrange name 3 redis
#输出结果为boeredis
  • setex ：设置值的同时设置过期时间
  • getset：以新值换旧值。
set name java
getset name c++
#输出结果为java，此时值已经被替换
get name
#输出结果为c++

String底层数据结构

  • String的数据结构为简单动态字符串(Simple Dynamic String,缩写SDS)。是可以修改的字符串，内部结构实现上类似于Java的ArrayList，采用预分配冗余空间的方式来减少内存的频繁分配.

​

  • 如图中所示，内部为当前字符串实际分配的空间capacity一般要高于实际字符串长度len。当字符串长度小于1M时，扩容都是加倍现有的空间，如果超过1M，扩容时一次只会多扩1M的空间。需要注意的是字符串最大长度为512M。

redis的列表类型（List）

Redis 列表是简单的字符串列表，按照插入顺序排序。你可以添加一个元素到列表的头部（左边）或者尾部（右边）。

它的底层实际是个双向链表，对两端的操作性能很高，通过索引下标的操作中间的节点性能会较差。

  • lpush：从左边插入数据
lpush name boerk lyly cookie
lrange name 0 -1 #这个是从左侧查询，-1表示查询所有
#输出：
#1) "cookie"
#2) "lyly"
#3) "boerk"

我的理解：boerk原本在第一个位置，添加lyly的时候，由于是左侧添加，所有将boerk“挤”到了右侧，cookie同理。所以顺序是cookie，lyly，boerk

  • rpush，与lpush相反。

  • lpop/rpop：从左边或者右边取出一个值。原先的值就不存在了。如果一个key里的所有值都没有了，那么这个key'也就没有了。值在键在，值光键亡

  • rpoplpush ：从key1的右侧取出一个值，插入key2的左侧。

lpush k1 v1 v2 v3 #v3,v2,v1
rpush k2 v11 v12 v13 #v11 v12 v13
rpoplpush k1 k2
lrange v1 0 -1
#输出结果为：v3,v2
lrange v2 0 -1
#输出结果为：v1,v11,v12,v13

  • liindex ：根据索引下标取出值

  • llen：获取value的长度

  • linsert ：在value的前面或者后面插入新的值(new value)

  • lrem：做左侧开始，删除int个value

  • lset：将int位置的值替换成value

Lit底层数据结构

  • List的数据结构为快速链表quickList。

  • 首先在列表元素较少的情况下会使用一块连续的内存存储，这个结构是ziplist，也即是压缩列表。它将所有的元素紧挨着一起存储，分配的是一块连续的内存。

当数据量比较多的时候才会改成quicklist。

  • 因为普通的链表需要的附加指针空间太大，会比较浪费空间。比如这个列表里存的只是int类型的数据，结构上还需要两个额外的指针prev和next。
  • Redis将链表和ziplist结合起来组成了quicklist。也就是将多个ziplist使用双向指针串起来使用。这样既满足了快速的插入删除性能，又不会出现太大的空间冗余。

redis的set类型

Redis set对外提供的功能与list类似是一个列表的功能，特殊之处在于set是可以自动排重的，当你需要存储一个列表数据，又不希望出现重复数据时，set是一个很好的选择，并且set提供了判断某个成员是否在一个set集合内的重要接口，这个也是list所不能提供的。

Redis的Set是string类型的无序集合。它底层其实是一个value为null的hash表，所以添加，删除，查找的复杂度都是O(1)。

一个算法，随着数据的增加，执行时间的长短，如果是O(1)，数据增加，查找数据的时间不变

set常用方法

  • sadd ：添加
  • smembers ：取出该集合的所有值
  • sismember ：判断集合是否为含有该值
  • scard：返回该集合的元素个数
  • srem ：删除集合中的某个或某几个元素。
  • spop ：随机从该集合中吐出一个值。
  • srandmember ：随机从该集合中取出n个值。不会从集合中删除 。
  • smove value把集合中一个值从一个集合移动到另一个集合
  • sinter ：返回两个集合的交集元素
  • sunion ：返回两个集合的并集元素
  • sdiff ：返回两个集合的差集元素(key1中的，不包含key2中的)

set的底层数据结构

Set数据结构是dict字典，字典是用哈希表实现的。

Java中HashSet的内部实现使用的是HashMap，只不过所有的value都指向同一个对象。Redis的set结构也是一样，它的内部也使用hash结构，所有的value都指向同一个内部值。

redis的哈希类型（hash）

  • hset 给集合中的 键赋值

  • hget 从集合取出 value

  • hmset ... 批量设置hash的值

  • hexists查看哈希表 key 中，给定域 field 是否存在。

  • hkeys 列出该hash集合的所有field

  • hvals 列出该hash集合的所有value

  • hincrby 为哈希表 key 中的域 field 的值加上增量 1 -1

  • hsetnx 将哈希表 key 中的域 field 的值设置为 value ，当且仅当域 field 不存在 .

hash数据结构

Hash类型对应的数据结构是两种：ziplist（压缩列表），hashtable（哈希表）。当field-value长度较短且个数较少时，使用ziplist，否则使用hashtable。

redis中的有序集合（Zset）

Redis有序集合zset与普通集合set非常相似，是一个没有重复元素的字符串集合。

不同之处是有序集合的每个成员都关联了一个评分（score）,这个评分（score）被用来按照从最低分到最高分的方式排序集合中的成员。集合的成员是唯一的，但是评分可以是重复了 。

因为元素是有序的, 所以你也可以很快的根据评分（score）或者次序（position）来获取一个范围的元素。

访问有序集合的中间元素也是非常快的,因此你能够使用有序集合作为一个没有重复成员的智能列表。

  • zadd …将一个或多个 member 元素及其 score 值加入到有序集 key 当中。

  • zrange [WITHSCORES]

    返回有序集 key 中，下标在之间的元素

    带WITHSCORES，可以让分数一起和值返回到结果集。

  • zrangebyscore [withscores] [limit offset count]

    返回有序集 key 中，所有 score 值介于 min 和 max 之间(包括等于 min 或 max )的成员。有序集成员按 score 值递增(从小到大)次序排列。

  • zrevrangebyscore [withscores] [limit offset count]

    同上，改为从大到小排列。

  • zincrby ：为元素的score加上增量

  • zrem ：删除该集合下，指定值的元素

  • zcount ：统计该集合，分数区间内的元素个数

  • zrank ：返回该值在集合中的排名，从0开始。

Zset基层结构

SortedSet(zset)是Redis提供的一个非常特别的数据结构，一方面它等价于Java的数据结构Map<String, Double>，可以给每一个元素value赋予一个权重score，另一方面它又类似于TreeSet，内部的元素会按照权重score进行排序，可以得到每个元素的名次，还可以通过score的范围来获取元素的列表。

zset底层使用了两个数据结构

（1）hash，hash的作用就是关联元素value和权重score，保障元素value的唯一性，可以通过元素value找到相应的score值。

（2）跳跃表，跳跃表的目的在于给元素value排序，根据score的范围获取元素列表。

Redis6新的数据类型——BitMap

我的理解：BitMap存储位操作的字符串，只有0或者1。更多的是存储一种状态，如：某游戏，改玩家今天有没有上线，上线时将根据玩家编号，将值从0变成1

setbit isLogin 100002 1

由于占用非常的小，使得可以存储相当庞大的数据。

单个存储上限为512MB

512mb=4294967296 bit

可以满足绝大多数的存储。

BitMap常用的方法

  • setbit：设置Bitmaps中某个偏移量的值

  • getbit：获取Bitmaps中某个偏移量的值

  • bitcount：统计字符串从start字节到end字节比特值为1的数量

计算2022-11-06这天的独立访问用户数量

botcount userIsLogin2022-11-06

这里的start和end指的是B（8个bit），如：

计算2022-11-06这天的独立访问用户在第一字节到第三字节的数量

K1 【01000001 01000000 00000000 00100001】

bitcount k1 1 3
#输出结果为3，即统计01000001 【01000000 00000000 00100001】

注意：redis的setbit设置或清除的是bit位置，而bitcount计算的是byte位置。

  • bitop and(or/not/xor) [key…]

计算出两天都访问过网站的用户数量

bitop and unique:users:and:20201104_03 unique:users:20201103unique:users:20201104

Bitmap并不一定优于set

在数据比较大的情况下时，使用Bitmap

比较小的时候使用set

posted @ 2022-03-12 23:56  Boerk  阅读(200)  评论(0)    收藏  举报