Scrapy爬虫的暂停和启动

在执行爬虫时使用以下命令

scrapy crawl 爬虫名称 -s JOBDIR=保存记录信息的路径
例：
scrapy crawl movie -s JOBDIR=stop_scrapy	# 执行命令会启动指定爬虫，并且记录状态到指定目录stop_scrapy中

爬虫已经启动，我们可以按键盘上的ctrl+c停止爬虫，停止后我们看一下记录文件夹，会多出3个文件，其中的requests.queue文件夹里的p0文件就是URL记录文件，这个文件存在就说明还有未完成的URL，当所有URL完成后会自动删除此文件

当我们重新执行命令：scrapy crawl movie -s JOBDIR=stop_scrapy 时爬虫会根据p0文件从停止的地方开始继续爬取。