scrapy框架简介和配置使用

scrapy框架的简介和基础使用

概念：为了爬取网站数据而编写的一款应用框架。框架其实就是一个集成了相应的功能且具有很强通用性的项目模板。

安装：

1. linux mac os:pip install scrapy 直接pip就能安装完成

 2. win:安装比较麻烦，按下面步骤

1. pip install wheel
2. 下载twisted：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

　　　　pip install 下载好的框架.whl

　　　　pip install pywin32

　　　　pip install scrapy

3.基础使用： 使用流程

i.创建一个工程：scrapy startproject 工程名称

目录结构：

ii.在工程目录下创建一个爬虫文件:

cd 工程

scrapy genspider 爬虫文件的名称 起始url

iii.对应的文件中编写爬虫程序来完成爬虫的相关操作

iv.配置文件的编写（settings）

v.执行

vi. 在工程目录下创建一个爬虫文件

cd 工程

scrapy genspider 爬虫文件的名称 起始的url

vii. 对应的文件中编写爬虫程序来完成爬虫的相关操作

viii. 配置文件的编写（settings）

ix.执行 ：scrapy crawl 爬虫文件的名称   --nolog(阻止日志信息的输出)