python-爬虫(4)-数据解析-xpath

html中的结构可能是棵树，不一定是二叉树，可能是多叉的。这时用xpath定位，解析会比较合适。
语法：

1.解析本地存储
tree=etree.parse('fileName')
2.解析网上爬取
tree=etree.HTML(page_text)
3.标签定位
  tree.xpath('html/head') 定位到head标签
  tree.xpath('//head')    定位所有的head
  tree.xpath('//li[3]')   定位到第三个
4.数据提取
  tree.xpath('//a[@id="feng"]/text()')
  tree.xpath('//div[@class="song"]//text()')

实例：爬一些图片。与前面一样。只是一些步骤和语法实现，给大家一些参考。

from lxml import etree
import requests
import os


#新建文件夹
dirName='imgLibs'
if not os.path.exists(dirName):
    os.mkdir(dirName)
headers={
  'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'
}
url='https://***'
for page in range(1,6):
    if page==1:
        new_url='https://'
    else:
        new_url=format(url%page)                   #非第一页的url
    response=requests.get(new_url,headers=headers) #得到网页的内容
    response.encoding='gbk'                        #处理乱码
    page_text=response.text
    tree=etree.HTML(page_text)
    li_list=tree.xpath('//div[@class="slist"]/ul/li')#定位到所有的li标签
    for li in li_list:
        img_src='https://www.baidu.com'+li.xpath('./a/img/@src')[0]
        img_name=li.xpath('./a/img/@alt')[0]+'.jpg'
        img_data=requests.get(img_src,headers=headers).content
        filePath=dirName+'/'+img_name
        with open(filePath,'wb') as fp:             #写入文件
            fp.write(img_data)
        print(img_src,img_name)