简单,可复制

点点滴滴,尽在文中

  :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

背景

在日常生活中,包括在设计计算机软件时,我们经常要判断一个元素是否在一个集合中。比如在字处理软件中,需要检查一个英语单词是否拼写正确(也就是要判断它是否在已知的字典中);在 FBI,一个嫌疑人的名字是否已经在嫌疑名单上;在网络爬虫里,一个网址是否被访问过等等。最直接的方法就是将集合中全部的元素存在计算机中,遇到一个新元素时,将它和集合中的元素直接比较即可。

一般来讲,计算机中的集合是用哈希表(hash table)来存储的。它的好处是快速准确,缺点是费存储空间。当集合比较小时,这个问题不显著,但是当集合巨大时,哈希表存储效率低的问题就显现出来了。

比如说,一个象 Yahoo,Hotmail 和 Gmai 那样的公众电子邮件(email)提供商,总是需要过滤来自发送垃圾邮件的人(spamer)的垃圾邮件。一个办法就是记录下那些发垃圾邮件的 email 地址。由于那些发送者不停地在注册新的地址,全世界少说也有几十亿个发垃圾邮件的地址,将他们都存起来则需要大量的网络服务器。如果用哈希表,每存储一亿个 email 地址, 就需要 1.6GB 的内存(用哈希表实现的具体办法是将每一个 email 地址对应成一个八字节的信息指纹,然后将这些信息指纹存入哈希表,由于哈希表的存储效率一般只有 50%,因此一个 email 地址需要占用十六个字节。一亿个地址大约要 1.6GB, 即十六亿字节的内存)。因此存贮几十亿个邮件地址可能需要上百 GB 的内存。除非是超级计算机,一般服务器是无法存储的。

 

布隆过滤器的应用场景

我们介绍一种称作布隆过滤器的数学工具,它只需要哈希表 1/8 到 1/4 的大小就能解决同样的问题。

布隆过滤器决不会漏掉任何一个在黑名单中的可疑地址。但是,它有一条不足之处。也就是它有极小的可能将一个不在黑名单中的电子邮件地址判定为在黑名单中,因为有可能某个好的邮件地址正巧对应个八个都被设置成一的二进制位。好在这种可能性很小。我们把它称为误识概率。

布隆过滤器的好处在于快速,省空间,但是有一定的误识别率。

 

布隆过滤器的使用方法

不能接受误报的使用方法

以注册用户的例子为例,我们利用布隆过滤器建立以注册的用户名单,判断用户是否可注册,会按照以下步骤执行:

1. 传入注册用户的通行证,根据我们建立的已注册用户的布隆过滤器,查询该用户是否存在布隆过滤器中。

2. 假设该用户不存在布隆过滤器的集合,对于元素不在集合的结果,布隆过滤器是不会误报,所以可以放心返回该用户可以成功注册的结果。

3. 假设用户存在于布隆过滤器,对于元素在集合的结果,布隆过滤器有可能误报,所以我们还需要再查询下真正的数据库,确认用户是否真的已注册了。

 

可以接受误报的使用方法

对于垃圾邮件的黑名单过滤,它有极小的可能将一个不在黑名单中的电子邮件地址判定为在黑名单中。

常见的补救办法是在建立一个小的白名单,存储那些可能别误判的邮件地址。

参考 http://hi.baidu.com/godduty/item/eb60342e743f710772863e74

posted on 2012-10-09 22:25  ggjucheng  阅读(2258)  评论(0编辑  收藏  举报