编程语言只是一种工具,它不应该成为我们技术前进之路上的壁垒。

redis bitmap - 用两个 setbit 操作让 bitmap 内存暴涨到 512MB(max)......

 

redis hash 数据结构大家通常都会用到,而 bitmap 则是一种更省内存的数据结构,可以用来快速查询、去重等。

今天用两个 setbit 命令,让 redis bitmap 内存占用飙升到 512 MB......

设置 bitmap 前 redis 内存如下:

图1:

操作 bitmap,只用两个 setbit 操作。注意了....

图2:

一顿骚操作后,redis 内存使用如下:

图3:

内存暴涨,发现没有???

为什么?

bitmap 内存暴涨原因:

bitmap 在 redis 中按 string 来存储,因此上限是 512MB(2^32 bits). 因此当我的第二个 setbit 值为 2^32-1=4294967295 时,由于 redis 没有采用压缩实现,就会直接申请到 512MB 内存空间来存储 2^32-1 bit 位置的值 1,中间的 bit 也会全填上 0.

而 guava 中 EWAHCompressedBitmap 是一种压缩的 bitmap 实现,将 64 bit 作为一个 word(一个 long 的长度),4个 word 作为一组,并在每一组的第一个 word 引入了 Running Length Word (携带跨度信息 word,类似路标)概念,其他三个 word 为 Literal Word(直接存储信息的 word)。在压缩 bitmap 实现下,本文的两个 setbit 操作就不会使 EWAHCompressedBitmap 内存占用暴涨,而是只会使用 2组 word,即 64 bytes.

不过即使通过压缩节省了空间,google 官方仍建议使用者从小到大来插入数据......

 

所以为了测试,给 redis bitmap 试了两个骚操作,结果证明 redis bitmap 没有用压缩结构实现.

 

参考文章:

小灰的 bitmap 算法整合版:https://mp.weixin.qq.com/s/xxauNrJY9HlVNvLrL5j2hg

redis bitmap command:https://redis.io/commands/setbit

 

posted on 2019-12-03 01:22  独角没有戏  阅读(2624)  评论(0编辑  收藏  举报

导航