2021年3月5日
gerapy+scrapyd 爬虫项目部署
摘要： 爬虫项目部署 部署环境 ： linux+python3+scrapy+scrapyd+gerapy 介绍： Scrapy：是一个基于Twisted的异步IO框架，有了这个框架，我们就不需要等待当前URL抓取完毕之后在进行下一个URL的抓取，抓取效率可以提高很多。 Scrapy-redis：虽然Scr 阅读全文
posted @ 2021-03-05 09:34 旁人怎会懂 阅读(214) 评论(0) 推荐(0)