2020年4月10日
scrapy_redis对接布隆过滤器(Bloom Filter)
摘要： 使用方式： pip3 install scrapy-redis-bloomfilter 使用的方法和Scrapy-Redis基本相似，在这里说明几个关键配置。 # 1. 替换原来的请求调度器的实现类，使用 scrapy-redis 中请求调度器SCHEDULER = "scrapy_redis_bl 阅读全文
posted @ 2020-04-10 18:48 BruceLong 阅读(1134) 评论(0) 推荐(0)