爬虫学习（十三）——xpath基础学习
lxml的作用
lxml是HTML、xml的解析器，主要的功能是如何解析和提取HTML和xml数据
lxml和正则一样，也是使用C来实现的，是一款高性能的python HTML/xml解析器，我们可以使用xpath语法快速定位特定元素和节点信息
xpath的介绍
xpath（xml path language）是一门在xml文档之查找信息的语言，可用来在xml文档中对元素和属性进行遍历
路径表达式
最常用的路径表达式：
/ :表示从根节点选取
//:从匹配选择的当前节点选择文档中的节点，而不考虑他们的位置
.:选取当前节点
..:选取当前节点的父节点
@：代表选取属性
常用路径表达式及其表达式结果
/bookstore:选取根元素bookstores，
注释：如果路径起始于正斜杠（/）,则此路径始终代表到某元素的绝对路径
bookstore/book：选取属于bookstore的子元素的所有book元素
//book：选取所有book子元素，而不管他们在文档中的位置
bookstores//book：选取属于bookstores元素后代的所有book元素，而不管他们位于bookstores下的什么位置
//@lang：选取说有
谓语限制节点位置
谓语用来查找某个特定的节点，或者包含某个指定值的节点，被嵌在方括号中
xpath的索引是从1开始，切记不是从零开始
/bookstores/book[1]：选取bookstores中子元素的第一个book元素
/bookstores/book[last()]：选取bookstores中子元素的最后一个book元素
/bookstores/book[last-1]：选取bookstores中子元素的倒数第二个book元素
/bookstores/book[position<3]：选取bookstores中子元素的前两个book元素
//title[@lang]：选取所有含有名为lang属性的title元素
//title[@lang="eng"]：选取所有含有名为lang属性且属性值为“eng”的title元素
/bookstores/book[@preice>35.0]：选取bookstores元素的子元素属性price值大于35.0的book元素
/bookstores/book[@price>35.0]/title:选取bookstores元素的子元素属性值price值大于35.0的book元素的子元素title元素
选取未知元素
*：匹配任何元素节点
*@：匹配任何属性节点
/bookstores/*：选取bookstores元素的所有子节点
//*：选取文档中的所有元素
//title[@*]：选取文档中所有带有属性的title元素
选取若干路径
通过在路径表达式中使用“|”运算符，就可以选取若干个路径
//book/title|//book/price：选取子元素节点是price和title的所有book节点的路径
//book|//title：选取文档中所有的book元素和title元素节点
//bookstores/book/title|//price：先去文档中所有bookstores元素的book元素的title元素或是文档中所有的price元素
xpath的运算符
from lxml import etree
# xml是str类型的数据
xml = '''<div>
<ul>
<li class="item-0">老王买刀<a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</ul>
</div>
'''
# lxml中的etree的HTML方法是将str类型的数据转换成为HTML对象
tree = etree.HTML(xml)
# lxml中etree的tostring方法是将HTML对象再转换成为字符串,字符串格式是（不带xml申明的阿斯克码），并且在原标签基础上添加了<html>和<body>
print(etree.tostring(tree,encoding="utf8").decode("utf8"))
# 将转化成对象的HTML使用xpath进行解析
info =tree.xpath("./body/div/ul/li")
print(info)
# 使用属性进行限制，找到指定的li，返回的对象是一个列表
print(tree.xpath("//li[@class='item-inactive']/a"))
# 结果:[<Element a at 0x9fe8888>]
# 获取a标签中属性为href的值
print(tree.xpath("//li/a/@href"))
# 获取标签中的内容，使用text()用在路径中，使用text用在标签对象上，此时text变成了标签的属性
print(tree.xpath("//li/text()"))
# 获取标签li中的class属性，使用get()
print(tree.xpath("//div//li")[0].get("class"))
# 批量获取标签的属性和标签内容
ret =tree.xpath("//div//li")
ree = [info.get("class") for info in ret ]
rea = [info.text for info in ret]
print(ree)
#输出结果：['item-0', 'item-1', 'item-inactive', 'item-1', 'item-0']
print(rea)
#输出结果：['老王买刀', None, None, None, None]
xpath使用总结：
查找所有的元素：//li
查找所有的属性：//div/@href
查找所有的元素值：//ul/text()
根据条件进行查找：[@id>="50"] 、[@id="50" and @class="haha"]、[contains(@class,"a")]、//li|//ul 元素e，e.get('attr')，e.text 获取元素的值
