Bloom Filter

基本原理

布隆过滤器(Bloom Filter)是BitMap的变型,它的核心实现是一个超大的位数组和几个哈希函数。假设位数组的长度为m,不同哈希函数的个数为k

题外话:位图BitMap是一个比特记录一个数,一般用于记录大量整数。

以上图为例,具体的操作流程:

假设集合里面有3个元素{x, y, z},哈希函数的个数为3。首先将位数组进行初始化,将里面每个位都设置位0。对于集合里面的每一个元素,将元素依次通过3个哈希函数进行映射,每次映射都会产生一个哈希值,这个值对应位数组上面的一个点,然后将位数组对应的位置标记为1。

查询w元素是否存在集合中的时候,同样的方法将W通过哈希映射到位数组上的3个点。如果3个点的其中有一个点不为1,则可以判断该元素一定不存在集合中。反之,如果3个点都为1,则该元素可能存在集合中。

注意:此处不能判断该元素是否一定存在集合中,可能存在一定的误判率。可以从图中可以看到:假设某个元素通过映射对应下标为4,5,6这3个点。虽然这3个点都为1,但是很明显这3个点是不同元素经过哈希得到的位置,因此这种情况说明元素虽然不在集合中,也可能对应的都是1,这是误判率存在的原因。

添加元素

  • 将要添加的元素给k个哈希函数进行运算
  • 得到对应于位数组上的k个位置
  • 将这k个位置设为1

查询元素

  • 将要查询的元素给k个哈希函数
  • 得到对应于位数组上的k个位置
  • 如果k个位置有一个为0,则肯定不在集合中
  • 如果k个位置全部为1,则可能在集合中

删除元素

  • 元素插入后 不能直接删除,因为删除会影响其他元素。
  • 可以采用基本Bloom Filter的变体——Counting bloomfilter(CBF),可以满足删除的要求。
  • CBF将基本Bloom Filter每一个“Bit”改为一个计数器,这样就可以实现删除功能了。

Bloom Filter特点

  • Bloom Filter中冲突概率取决于:哈希函数的个数k,以及Bitset的大小。
    • 哈希函数的个数k越大,冲突越小。
  • 存在查询结果的误判。
  • 当要存储的元素个数n很大时,使用bloom filter可以节省内存开销。
posted @ 2021-03-02 18:44  Dallas98  阅读(82)  评论(0)    收藏  举报
蜀ICP备20020397号