2020年4月11日
Scrapy爬虫去重效率优化之Bloom Filter的算法的对接
摘要： 首先回顾一下Scrapy-Redis的去重机制。Scrapy-Redis将Request的指纹存储到了Redis集合中，每个指纹的长度为40，例如27adcc2e8979cdee0c9cecbbe8bf8ff51edefb61就是一个指纹，它的每一位都是16进制数。 我们计算一下用这种方式耗费的存储 阅读全文
posted @ 2020-04-11 08:17 BruceLong 阅读(426) 评论(0) 推荐(0)