2017年10月5日
将爬取到的结果输出到json中
摘要： $ scrapy crawl myweather -o wea.json 阅读全文
posted @ 2017-10-05 15:31 深圳地铁Princess 阅读(248) 评论(0) 推荐(0)
暂停爬虫
摘要： 当我们一个爬虫项目量非常大时候，我们可能不能一次执行完毕，需要分好几次执行，这时候，我们只需要在启动爬虫的时候键入命令 scrapy crawl xxx -s JOBDIR=job1 这时候我们可以看到任务开始执行了，当我们想要暂停的时候按下ctrl+c。当我们想要恢复的时候键入： scrapy c 阅读全文
posted @ 2017-10-05 15:28 深圳地铁Princess 阅读(176) 评论(0) 推荐(0)