2020年9月3日
22-爬虫之scrapy框架分布式09
摘要： 分布式 实现分布式的方式：scrapy+redis（scrapy结合着scrapy-redis组件） 原生的scrapy框架是无法实现分布式的 什么是分布式 需要搭建一个分布式机群，然后让机群中的每一台电脑执行同一组程序，让其对同一组资源进行联合且分布的数据爬取。 因调度器，管道无法被分布式机群共享 阅读全文
posted @ 2020-09-03 23:40 gemoumou 阅读(121) 评论(0) 推荐(0)