Scrapy框架快速入门

1.概述

 Scrapy 是一个为了抓取网页数据、提取结构性数据而编写的应用框架，该框架是封装的，包含 request （异步调度和处理）、下载器（多线程的 Downloader）、解析器（selector）和 twisted（异步处理）等。

利用框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常的方便。

 

 2.Request库与Scrapy爬虫的比较

 两者都可以进行页面请求和爬取，Python爬虫的两个重要技术路线，两者可用性都好，文档丰富，入门简单

request适合页面级别的爬虫、scrapy适合网站级别爬虫

 

 

 

 

相关连接：

http://www.manongjc.com/detail/15-glrhqxuyeptdnri.html  .............................Scrapy爬虫框架

https://www.jb51.net/article/193408.htm .......................................................简述python Scrapy框架

https://www.cnblogs.com/left23333/p/16367744.html ...................................Scrapy爬虫的Demo，，Scrapy小案例，，爬取小红书

https://www.likecs.com/show-307278738.html...........................................Scrapy选择器，，选择器2，，选择器3，选择器4