2018年10月19日
scrapy-redis 实现 分布式爬虫
摘要： scrapy的组建scrapy Engine ,scheduler,downloader,spider,item pipeline ,在编写爬虫程序一般用到的组件是 spider,item,pipeline,middleware scrapy-redis 改写了scrapy的spider,pipel 阅读全文
posted @ 2018-10-19 15:22 庭明 阅读(210) 评论(0) 推荐(0) 编辑