2019年11月18日
scrapy框架，递归获取详情页面时，提示： Filtered offsite request to
摘要： 在抓取 腾讯招聘网站的招聘信息时，递归获取详情页面时，提示： Filtered offsite request to 原因： 是request的地址和allow_domain里面发生了冲突，从而被过滤掉了 解决办法： 1.可以停用过滤功能 SPIDER_MIDDLEWARES = { 'tencen 阅读全文
posted @ 2019-11-18 21:10 柯基小短腿 阅读(461) 评论(0) 推荐(0) 编辑