scrapy框架，递归获取详情页面时，提示： Filtered offsite request to

在抓取 腾讯招聘网站的招聘信息时，递归获取详情页面时，提示： Filtered offsite request to

原因：

是request的地址和allow_domain里面发生了冲突，从而被过滤掉了

解决办法：

1.可以停用过滤功能

SPIDER_MIDDLEWARES = {
　　'tencent.middlewares.TencentSpiderMiddleware': None,
}

2.yield Request(url, callback=self.parse_item, dont_filter=True)