Scrapy笔记

安装Scrapy框架

1.通过pip安装

pip install scrapy

2.如果在windows下还需要安装pywin32

pip install pywin32

创建爬虫

1.创建项目：

scrapy startproject [爬虫的名字]

2.1创建爬虫：进入到爬虫项目的路径执行命令：（注意爬虫名字不能和项目一样）

scrapy genspider [爬虫的名字] [爬虫的域名]

 2.2创建自动爬虫

scrapy genspider -t crawl

运行爬虫项目

scrapy crawl [爬虫的名称]