摘要: 一、安装 二、简介 Scrapy主要包括了以下组件: 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler)用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL(抓取网页的网址或者说是链接)的优先队列, 由它来决 阅读全文
posted @ 2017-05-21 23:16 红领巾下的大刀疤 阅读(492) 评论(0) 推荐(0)
/* 看板娘 */