2020年11月27日
scrapy分布式爬虫
摘要： 需要安装scrapy_redis .正常写入scrapy爬虫，写好后在setttings里面添加如下代码 # 1、使用scrapy_redis的调度器 SCHEDULER = "scrapy_redis.scheduler.Scheduler" # 2、使用scrapy_redis的去重机制 DUP 阅读全文
posted @ 2020-11-27 16:17 吴先雨 阅读(107) 评论(0) 推荐(0)