摘要: 一、爬虫框架Scrapy总览 上图就是整个Scrapy的架构图了,主要包括部分作用如下: Scrapy Engine:爬虫引擎,负责制数据流在系统中所有组件中流动,并在相应动作发生时触发事件。简单来说,就是负责Spiders、ItemPipeline、Downloaders和Scheduler之间的 阅读全文
posted @ 2018-07-17 12:17 佳星辰 阅读(292) 评论(0) 推荐(0)