2019年4月15日
scrapy--分布式爬虫
摘要： 14.3　使用scrapy-redis进行分布式爬取了解了scrapy-redis的原理后，我们学习使用scrapy + scrapyredis进行分布式爬取。14.3.1　搭建环境首先搭建scrapy-redis分布式爬虫环境，当前我们有3台Linux 主机。 云服务器（A）：116.29.35. 阅读全文
posted @ 2019-04-15 17:16 三冬三夏 阅读(250) 评论(0) 推荐(0)