Scrapy框架(爬虫框架)

一、什么是Scrapy？

　　Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。

　　所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化存储等）的具有很强通用性的项目模板。

　　对于框架的学习，重点是要学习其框架的特性、各个功能的用法即可。

二、安装scrapy

　　1、pip3 install wheel

下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

进入下载目录，执行 pip3 install Twisted-19.2.1-cp36-cp36m-win_amd64.whl

pip3 install pywin32

　　5、pip3 install scrapy

scrapy的使用方法

　　1、创建项目: scrapy startproject xxx

　　2、创建爬虫文件: scrapy genspider first www.xxx.com

　　3、执行爬虫文件：scrapy crawl first

　　4、执行爬虫文件不打印日志: scrapy crawl budejie --nolog

　　5、执行爬虫文件并持久化存储到csv文件中: scrapy crawl budejie -o budejie.csv

四、管道持久化存储

文件存储: 可以实现任意文件类型的存储

　　2、mysql存储:

　　　　a、创建连接

　　　　b、创建游标

　　　　c、使用事务

　　　　d、关闭游标和连接

　　3、redis存储

　　　　a、创建连接

　　　　b、存储的数据需要进行json序列化

　　　　c、关闭连接