scrapy中将str转为能xpath的html格式

在scrapy获取资源时,有时候获取的是json格式,但是json里面存在着html的标签,这时候就可以将json转为字典,然后再将html标签拿到,然后再进行xpath,就可以获取到标签内的资源了;

但是,怎么将这里的str转为能xpath的html标签呢,这里就用到了Selector

from scrapy.selector import Selector
names = Selector(text=datas).xpath("//div[contains(@class,'jDesc')]/a/text()").extract()


这里的datas就是获取到的json里面的str(html标签的字符串格式),将datas转为html标签,然后再进行xpath就可以了。
posted @ 2019-07-09 17:24  乔儿  阅读(2367)  评论(0编辑  收藏  举报