摘要: 0.背景 使用 scrapy_redis 爬虫, 忘记或错误设置 request.priority(Rule 也可以通过参数 process_request 设置 request.priority),导致提取 item 的 request 排在有序集 xxx:requests 的队尾,持续占用内存。 阅读全文
posted @ 2018-07-26 18:52 my8100 阅读(557) 评论(0) 推荐(0) 编辑