scrapy基本介绍

1 Scrapy简介

Scrapy是爬虫框架，它是使用python 编写的。它可以方便的进行web抓取，并且也可以方便的根据自己的需求进行定制。

整体框架大致如下：

2 Scrapy组件

Scrapy主要包括以下组件：

A. 引擎（scrapy）

用于处理整个系统的数据流，触发事务（框架核心）。

B.调度器（Scheduler）

用来接收引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回。可以想象成一个URL的优先队列，由它来决定下一个要抓取的网址是什么，同时去除重复的网址。

C.下载器（Downloader）

用于下载网页内容，并将网页内容返回给引擎（下载器是建立在twisted这个搞笑的异步模型上的）

D.爬虫(Spiders)

爬虫主要是干活的，用于从特定的网页中提取自己需要的信息，即所谓的实体（Item）。用户也可以从中提取出链接，让scrapy继续抓取下一个页面。

E.项目管道（Pipeline）

负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清楚不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。

F.下载器中间件（Downloader Middlewares）

位于scrapy引擎和下载器之间的框架，主要是处理scrapy引擎与下载器之间的请求及响应。

H.爬虫中间件（Spider Middlewares）

介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。

I.调度中间件（Scheduler Middewares）

介于Scrapy引擎和掉之间的中间件，从scrapy引擎发送到调度的请求和响应。

 

3 Scrapy运行流程 

A.引擎从调度器中取出一个链接（URL）用于抓取。

B.引擎把URL封装成一个请求（Request）传给下载器。

C.下载器把资源下载下来，并封装成应答包（Response)。

D. 爬虫解析Response

E. 解析出实体（Item）,则交给实体管道进行进一步的处理。

F.解析出的链接（URL），则把URL交给调度器等待抓取。