布隆过滤器基础原理

布隆过滤器（Bloom Filter）

是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。

它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。

本质上布隆过滤器是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure），特点是高效地插入和查询，可以用来告诉你

“某样东西一定不存在或者可能存在”，可能存在的前提下再去数据库进行准确查找，或者查找白名单。

 

实现原理

HashMap 的问题

讲述布隆过滤器的原理之前，我们先思考一下，通常你判断某个元素是否存在用的是什么？应该蛮多人回答 HashMap 吧，确实可以将值映射到 HashMap 的 Key，然后可以在 O(1) 的时间复杂度内返回结果，效率奇高。

但是 HashMap 的实现也有缺点，例如存储容量占比高，考虑到负载因子的存在，通常空间是不能被用满的，而一旦你的值很多例如上亿的时候，那 HashMap 占据的内存大小就变得很可观了。

还比如说你的数据集存储在远程服务器上，本地服务接受输入，而数据集非常大不可能一次性读进内存构建 HashMap 的时候，也会存在问题。

 

位数组

为了节省内存：用数组来存储数字，数字的商为数组下标，数字的余数为，

例如，存储32位的数，36这个数字，36/32商为1余数为4，数组array[0]存储一个32位的数(即a[0]就能表示32个数字，即4个字节就能表示32个32位的数，是不是很省内存)，1<<4 二进制为10000，转为十进制就是16，所以array[0]=16；

假如下一个数还是array[0]，那就逻辑或一下就能把对应的1加上去了！

//判断当前系统是32位还是64位（^uint(0)在32位系统上返回的是0XFFFFFFFF,在64位系统上返回的是0xFFFFFFFFFFFFFFFF）
const target int = 32 << (^uint(0) >> 63)

func (s *IntSet) Add(numbers ...int) {
    for _, numebr := range numbers {
        x := numebr
        a, b := x/target, uint(x%target)
        array[a] |= 1 << b
    }
}

 

布隆过滤器数据结构

布隆过滤器是一个 bit 向量或者说 bit 数组，长这样：

 

 

image

如果我们要映射一个值到布隆过滤器中，我们需要使用多个不同的哈希函数生成多个哈希值，并对每个生成的哈希值指向的 bit 位置 1，例如针对值 “baidu” 和三个不同的哈希函数分别生成了哈希值 1、4、7，则上图转变为：

 

 

image

Ok，我们现在再存一个值 “tencent”，如果哈希函数返回 3、4、8 的话，图继续变为：

 

 

image

值得注意的是，4 这个 bit 位由于两个值的哈希函数都返回了这个 bit 位，因此它被覆盖了。现在我们如果想查询 “dianping” 这个值是否存在，哈希函数返回了 1、5、8三个值，

结果我们发现 5 这个 bit 位上的值为 0，说明没有任何一个值映射到这个 bit 位上，因此我们可以很确定地说 “dianping” 这个值不存在。而当我们需要查询 “baidu” 这个值是否存在的话，

那么哈希函数必然会返回 1、4、7，然后我们检查发现这三个 bit 位上的值均为 1，那么我们可以说 “baidu” 存在了么？答案是不可以，只能是 “baidu” 这个值可能存在。

这是为什么呢？答案跟简单，因为随着增加的值越来越多，被置为 1 的 bit 位也会越来越多，这样某个值 “taobao” 即使没有被存储过，但是万一哈希函数返回的三个 bit 位都被其他值置位了 1 ，那么程序还是会判断 “taobao” 这个值存在。

 

应用：

1.网页URL的去重

2.垃圾邮件的判别

3.集合重复元素的判别

4.查询加速（比如基于key-value的存储系统）