网络爬虫_xpath 

from lxml import etree
#https://mirrors.aliyun.com/pypi/simple/   python仓库
wb_data = """
    <div>
        <ul>
            <li class="item-0"><a href="link1.html">first item</a></li>
            <li class="item-1"><a href="link2.html">second item</a></li>
            <li class="item-inactive"><a href="link3.html">third item</a></li>
            <li class="item-3"><a href="link4.html">fourth item</a></li>
            <li class="item-4"><a href="link5.html">fifth item</a></li>
        </ul>
    </div>    
          """

#将变量读取为HTML对象,自动添加<html><body>... ...</body></html>
html=etree.HTML(wb_data)

#解析数据 /是根节点
data=html.xpath('/html')
//子孙节点
data2=html.xpath('//li')  li标签可以在任意节点
获取a标签里的内容1
data3=html.xpath('/html/body/div/ul/li/a/text()')
获取class属性的属性值
data5=html.xpath('/html/body/div/ul/li/@class')

for i in data
    print(i)
获取a标签里的内容2
data4=html.xpath('/html/body/div/ul/li/a')
获取所有href属性中带有link2.html属性值的标签的内容
data8=html.xpath('//ul/li/a[@href="link2.html"]')


for i in data4:
    print(i.text)
获取a标签的href属性的属性值
data6=html.xpath('/html/body/div/ul/li/a')
for i in data6:
    a=i.xpath('./@href')
    print(a)
获取第一个和最后一个li标签的地址 
#这里data7是一个list 电脑不知道ul有几个，就将ul标签当做多个ul处理,多个ul就是列表
data7=html.xpath('/html/body/div/ul')
for i in data7:
    li_1=i.xpath('./li[1]')
    print(li_1)
    li_last=i.xpath(./li[last()]')
    print(li_last)

*位置节点，匹配所有li标签下的有text的标签的内容
data=html.xpath('//ul/li/*')
for i in data:
    if hasattr(i,'text'):
        print(i.text)
    else:
        print(i)

#自定义解释器,解析html文件
parser=etree.HTMLParser(encoding='utf-8') 默认解析xml文档
html_file=etree.parse('aliyun.html',parser=parser)
匹配任意节点，带有text的内容
data=html_file.xpath('//*')
for i in data:
    if hasattr(i,'text'):
        print(i.text)

获取a链接href的属性值为link2.html的内容"
html_file=etree.parse('hh.html',parser=parser)
data=html_file.xpath('//li/a[@href="link2.html"]/text()')
print(data)

获取a链接href的属性的值
data=html_file.xpath('//li/a/@href')
print(data)

谓语
获取最后一个a链接的内容
data=html_file.xpath('//li[last()]/a/text()')
print(data)

　　

posted @ 2022-04-09 21:56  森林深处有一道光  阅读(40)  评论(0)    收藏  举报