2017年10月23日
爬虫必备—scrapy-redis（分布式爬虫）
摘要： 转载自：http://www.cnblogs.com/wupeiqi/articles/6912807.html scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter 阅读全文
posted @ 2017-10-23 22:08 jack-boy 阅读(14768) 评论(0) 推荐(0) 编辑
Hello world！