2019年9月5日
关于[scrapy] DEBUG:Filtered duplicate request: (dont_filter=True)
摘要： [scrapy] DEBUG:Filtered duplicate request:<GET:xxxx>-no more duplicates will be shown 不会显示更多重复项, 其实这个的问题是,CrawlSpider结合LinkExtractor\Rule,在提取链接与发链接的时候 阅读全文
posted @ 2019-09-05 15:57 乔儿 阅读(1099) 评论(0) 推荐(0)