关于xpath匹配包含文本内容的标签

如下-当获取下一页标签时, 借助string(), 将a标签里边的东西全部转换成字符串, 再用contains判断

      next_page_url = response.xpath("//ul[@class='pagination']/li/a[contains(string(), '下一页')]/@href").extract_first()
      if next_page_url:
          url = urllib.request.urljoin(self.base_url, next_page_url)
          yield scrapy.Request(url, callback=self.parse)

参考:
https://www.cnblogs.com/liangmingshen/p/11567780.html

posted @ 2021-04-11 18:05  学习记录13  阅读(407)  评论(0)    收藏  举报