随笔分类 -  scrapy

基于scrapy和docker技术构建分布式爬虫
 
基于Scrapy-Redis和docker技术在单机上构建分布式爬虫
摘要：基于Scrapy-Redis和docker技术在单机上构建分布式爬虫，因为自己机器比较少，但是又想构建一个分布式环境，于是借助docker技术在单机上构建多个container进行抓取任务的爬虫环境。 阅读全文
posted @ 2017-08-25 17:38 都是一家人 阅读(425) 评论(0) 推荐(0)