爬虫css、xpath选择器用法

1、网页 

①进入网页交互模式

 

 ②

 

③xpath选取标题内容

 

④css选取标题内容

⑤css与xpath混合运用选取链接

 

⑥xpath选取某标签下的内容

 

⑦设置get返回默认值

⑧css与attrib使用提取链接

 

 

 ⑨contains用法

函数                  用法                                                               解释
starts-with         xpath(‘//div[starts-with(@id,”ma”)]‘)                        # 选取id值以ma开头的div节点
contains            xpath(‘//div[contains(@id,”ma”)]‘)                           # 选取id值包含ma的div节点
and                 xpath(‘//div[contains(@id,”ma”) and contains(@id,”in”)]‘)    # 选取id值包含ma和in的div节点
text()              xpath(‘//div[contains(text(),”ma”)]‘)                        # 选取节点文本包含ma的div节点

⑩css、xpath结合re使用

 

补充：

①fetch相当于request请求

 ②检验网页实际返回的数据

 ③交互式下的部分参数