2018年1月12日
ken桑带你读源码 之scrapy scrapy\core\scheduler.py
摘要： 从英文来看是调度程序 我们看看是怎么调度 首先爬虫队列有两个 一个是保存在内存中 没有历史记录 重新开始 42行 self.mqs = self.pqclass(self._newmq) 另外一个是存在硬盘的队列 用于断点续传 大家看 43 行 self._dq() if self.dqdir el 阅读全文
posted @ 2018-01-12 06:59 ken桑带你飞 阅读(154) 评论(0) 推荐(0)