2021年7月12日
Scrapy爬虫的启动与暂停
摘要： 当我们使用Scrapy进行网站爬取的时候，无法避免的会出现爬虫暂停的情况，不用担心，Scrapy已经提供了这个功能。 在启动爬虫命令的时候我们使用参数 -s (set的意思)，这会将本次爬虫运行的相关信息记录在001文件夹中，在爬虫暂停重新启动后会读取信息继续进行网站的爬取。所以一次完整的爬虫无论暂 阅读全文
posted @ 2021-07-12 15:18 何哈哈哈 阅读(389) 评论(0) 推荐(0)