2018年11月8日
笔记-scrapy-去重
摘要： 笔记-scrapy-去重 1. scrapy 去重 scrapy 版本：1.5.0 第一步是要找到去重的代码，scrapy在请求入列前去重，具体源码在scheduler.py： def enqueue_request(self, request): if not request.dont_filte 阅读全文
posted @ 2018-11-08 17:02 木林森__𣛧 阅读(248) 评论(0) 推荐(0)