摘要: scrapy基本知识 scrapy的整体架构 引擎(Scrapy Engine),用来处理整个系统的数据流处理,触发事务 调度器(Scheduler),用来接受引擎发过来的请求,压入队列中,并在引擎再次请求的时候返回 下载器(Downloader),用于下载网页内容,并将网页内容返回给蜘蛛 蜘蛛(S 阅读全文
posted @ 2017-08-02 13:10 MintMin 阅读(424) 评论(0) 推荐(0)