Scrapy

一、安装scrapy框架

1.安装scrapy

pip install scrapy

2.创建项目

scrapy  startproject spider220705

3.创建爬虫文件

scrapy genspider douban movie.douban.com

 

二、编写爬虫

 

三、运行爬虫

scrapy crawl douban -o douban.csv

运行douban 并写入douban.csv

 四、管道pipelines

通过pipelines.py写入excel

 

注：

settings.py配置

 

 

pip freeze > requirements.txt  　　//查询依赖库并写入文件

pip insatall -r requirements.txt  //读取文件下载依赖