关于xpath匹配包含文本内容的标签
如下-当获取下一页标签时, 借助string(), 将a标签里边的东西全部转换成字符串, 再用contains判断
next_page_url = response.xpath("//ul[@class='pagination']/li/a[contains(string(), '下一页')]/@href").extract_first()
if next_page_url:
url = urllib.request.urljoin(self.base_url, next_page_url)
yield scrapy.Request(url, callback=self.parse)

浙公网安备 33010602011771号