一、新建项目

scrapy  startproject 项目名称

cd 到spiders目录下创建爬虫文件

scrapy genspider maintian 'maitian.cn'

其中maintian为爬虫名称
maitian.cn爬取的域名范围

 

项目目录结构:

 

二、运行项目

爬虫名字,可以根据name运行项目 1.scrapy crawl maitian
第二种运行方式运行这个maintian.py文件:scrapy runspider maintian.py

 

三、不遵守robots协议