努力学习的辉

摘要： 一.scrapy框架是否可以自己实现分布式？ 答案是不可以的,原因有两个: 1. 因为每台机器上部署的scrapy的框架都有各自的调度器(多台机器无法共享同一个调度器) 2. 原生的scrapy管道无法被共享,所以多台机器爬取到的数据无法通过同一个管道对数据进行统一的数据持久化存储。（多台机器无法共 阅读全文