2013年9月9日
【转】larbin中的url去重算法
摘要： 1.bloom filter算法传说中，larbin使用bloom filter算法来进行url去重。那我们就先来了解下bloom filter算法好了。【以下转自：http://hi.baidu.com/fengfengchang/item/050b11390ff61fbd633affac】先解释一下什么是哈希函数。哈希函数简单来说就是一种映射，它可取值的范围（定义域）通常很大，但值域相对较小。哈希函数所作的工作就是将一个很大定义域内的值映射到一个相对较小的值域内。传统的哈希存储假设要哈希的集合为S，它有n个元素。传统的哈希方法是，将哈希区域组织成h（h > n）个格子的列表，每一个格 阅读全文
posted @ 2013-09-09 18:06 myLittleGarden 阅读(1395) 评论(0) 推荐(0)