scrapy爬虫返回302，301，解决方法
摘要：
allow_redirects=False的意义为拒绝默认的301/302重定向从而可以通过html.headers[‘Location’]拿到重定向的URL。 这是scrapy中解决问题方法1： 在yield里面加上dont_filter=True，解决了这个问题，dont_filter的意思是， 阅读全文
posted @ 2019-02-26 14:43 这世界很苦 阅读(5240) 评论(1) 推荐(1)
浙公网安备 33010602011771号