摘要: 在使用Scrapy框架中总是遇到这类问题,在此留下记录,方便查阅、 三种解决方式:解决(一)在Request中将scrapy的dont_filter=True,因为scrapy是默认过滤掉重复的请求URL,添加上参数之后即使被重定向了也能请求到正常的数据了 解决(二)在scrapy框架中的 sett 阅读全文
posted @ 2019-10-22 17:38 爱洗澡的猫妹 阅读(260) 评论(0) 推荐(0)