Redis学习笔记二 (BitMap算法分析与BitCount语法)
Redis学习笔记二
一、BitMap是什么
就是通过一个bit位来表示某个元素对应的值或者状态,其中的key就是对应元素本身。我们知道8个bit可以组成一个Byte,所以bitmap本身会极大的节省储存空间。
二、BitMap算法基本描述
BitMap 是使用 bit位来标记某个元素对应的value,而key 即是该元素,因此对于之前位数存储换成bit位存储数据能大大的节省存储空间。
三、BitMap的实现思想
假设我们要对于0-7内的5个元素(4,7,2,5,3)进行排序(假设元素没有重复),我们可以利用bitmap达到该目的,要表示8个数,我们需要8bit,每个bit相当于一个标志位,我们可以通过标志位(0,1)去标识本次这个元素是否存在(0,标识不存在;1,标识存在,1Byte=8bit)
首先先开辟1byte的空间,将8个bit位设为0.如这张图
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
然后遍历这几个元素,4为第一个元素,所以把4对应的位置变为1.如下图
0 |
0 |
0 |
0 |
1 |
0 |
0 |
0 |
接下去遍历可以得到:
0 |
0 |
1 |
1 |
1 |
1 |
0 |
1 |
然后我们通过GETBIT这个命令可以遍历bit区域,将标识为1的遍历出来,得到(2,3,4,5,7)序列,这样子就得到了排序的结果。
GETBIT key offset
四、BitMap 40亿数据处理题目
给你一个文件,里面包含40亿个整数,如何利用bitMap思想找出该文件中不包含的一个整数, 假设你有1GB内存可用。
我们用1Byte代替一个整数,那40亿数据大概要40*10^8*bit = 0.5GB,满足内存要求。
用int来表示:Int bmap[1+sum/32]; //N是总数,sum=40*(10^8),一个int=32Bit=4Byte
然后我们插入一个整数ze,要先计算整数ze位于数组Bitmap中的索引:index = ze/32;(除以32是得到整数位于第几个Byte,也就是第几位)
比如整数35,index=35/32=1, 35%32=3(取余) 第35位于数组中的index=1(位于数组BitMap[1]中标识等于3的位置),然后就是标识这个位置为1。
知道了这些,我们就可以检测哪个整数不在数据里面了。
如:检测35,先计算index,在数组BitMap的标识位置
35: index = 1, 在BitMap[1]中的位置为 1,只需要检测这个位置是否为1
BitMap[1] &(1<<1),这样是1返回true,否侧返回false
五、Bit-Map的应用
1)可进行数据的快速查找,判重,删除,一般来说数据范围是int的10倍以下。
2)去重数据而达到压缩数据
BitCount
一、bitcount.语法
BitCount:计算key 所储存的字符串值中,被设置为 1 的比特位的数量。
BITCOUNT key
BITCOUNT key start end |
计算key 所储存的字符串值中,指定字节区间[start,end]被设置为 1 的比特位的数量。 |
二、使用bitcount统计浏览数量
如记录网站上的用户的上线频率,例如计算用户A上线了多少天,用户B上线了多少天,以此作为数据,这可以用SETBIT和BITCOUNT来实现。
每当用户在某一天上线的时候,通过SETBIT命令,以用户名作为key,将那天所代表的网站的上线日作为offset (标识偏移数)参数,并将这个offset 上的为设置为1。
举个例子,如果今天是网站上线的第66天,而用户(user=Y)在今天阅览过网站,那么执行命令SETBIT person:Y 66 1;如果88号那天用户(user=Y)也继续阅览网站,那么执行命令SETBIT person:Y 88 1,
使用BITCOUNT命令:计算用户(user=Y)总共上线次数时
执行BITCOUNT person:Y,得出用户(person=Y)上线的总天数。
三、Python-redis-Bitcount 代码
import redis r = redis.Redis(host='127.0.0.1', port=6379, db=0) #模拟A用户 ,一年中 每三天登录一次。 for i in range(3, 365, 3): r.setbit('ua', i, 1) #模拟B用户,一年中 每60天登录一次。 for i in range(1, 365, 60): r.setbit('ub', i, 1) userList = r.keys('u*') #用户列表 print userList #存放活跃用户列表 Au = [] #存放非活跃用户列表 Nau = [] for u in userList : # 计算登录次数 loginCount = r.bitcount(u) if loginCount > 100 : # 列表添加元组 ()对象 Au.append((u, loginCount)) else : Nau.append((u, loginCount)) for l in Au : print l[0] + ' 是活跃用户. 登陆' + str(l[1]) + '天' for l in Nau : print l[0] + ' 是非活跃用户. 登陆' + str(l[1]) + '天' 结果: ['ub', 'ua'] ua 是活跃用户. 登陆121天 ub 是非活跃用户. 登陆7天
Bittop命令
处理不同长度的字符串
当 BITOP 处理不同长度的字符串时,较短的那个字符串所缺少的部分会被看作 0 。
空的 key 也被看作是包含 0 的字符串序列