2021年12月14日
爬虫数据去重问题
摘要： 布隆过滤器 安装命令： pip install pybloom_live 使用步骤： 1）安装 2）创建布隆过滤器 3）向过滤器中添加字符串，验证过滤器输出结果 例： import pybloom_live f = pybloom_live.BloomFilter(capacity=10000, e 阅读全文
posted @ 2021-12-14 16:41 RabbitJwr 阅读(88) 评论(0) 推荐(0) 编辑