布隆过滤器-python 简单应用

"""布隆过滤器  主要作url 的去重"""
from pybloom_live import BloomFilter
# 实例化布隆过滤器的容器  capacity 最大保存数值， error_rate 接近最大值是的容错率
bf = BloomFilter(capacity=1000, error_rate=0.001)

# 添加到布隆过滤器
bf.add('url')

# 判断数据链接是否在容器内
if 'url' in bf:
    pass