scrapy Selector用法及xpath语法
准备工作
html示例:
<?xml version="1.0" encoding="UTF-8"?>
<html
<head>
<title>text</title>
</head>
<body>
<div class="cdiv">
<p class="cp1 section">test p1 <span>next p1</span></p>
<ul>
<li id="0">1</li>
<li id="1">2</li>
<li id="2">3</li>
</ul>
</div>
<div class="cdiv1">
<p class="cp2">test p2 <span>next p2</span></p>
<ul>
<li id="3">4</li>
<li id="4">5</li>
<li id="5">6</li>
</ul>
</div>
<p class="item">test in p </p>
<li id="6" class="item cli-1">7</li>
<li id="7" class="item cli-2">8</li>
</body>
</html>
把该示例保存到test.html中.
创建python文件，输入代码
from scrapy.selector import Selector
doc = ''
with open('./test.html', 'r') as f:
doc = f.read()
sel = Selector(text=doc)
后面所有的示例代码都会添加到这个文件中
Selector的主要方法
得到选中节点的字符串
get(): 得到选中节点列表中的第一个中节点, 并转换成字符串返回。
getall(): 得到选中节点列表中的所有节点，并转换成字符串返回。
示例:
#得到选中节点字符串
res = sel.css('.cdiv').xpath(".//li").get()
print(res)
res = sel.css('.cdiv').xpath(".//li").getall()
print(res)
结果:
<li id="0">1</li>
['<li id="0">1</li>', '<li id="1">2</li>', '<li id="2">3</li>']
用正则表达式匹配
re(regex): 用正则表达式匹配节点，并返回匹配的字符串。
示例:
res = sel.css('body .item').re(r'cli\-\d+')
print(res)
结果:
['cli-1', 'cli-2']
使用xpath表达式选择节点
xpath(query): 使用xpath表达式选择节点, 并返包含选中节点的Selector对象.
使用css选择器选中节点
css(query): 使用css选择器表达式选择节点, 并返包含选中节点的Selector对象
xpath 语法
选择所有的子节点
//{node}: 选择根节点下所有标签为{node}的子节点.
//{node}//{node1}: 选择根节点下所有标签为{node1}且父节点包含标签{node}的节点
示例1:
res = sel.xpath("//li")
print(res)
结果:
[<Selector xpath='//li' data='<li id="0">1</li>'>, <Selector xpath='//li' data='<li id="1">2</li>'>, <Selector xpath='//li' data='<li id="2">3</li>'>, <Selector xpath='//li' data='<li id="3">4</li>'>, <Selector xpath='//li' data='<li id="4">5</li>'>, <Selector xpath='//li' data='<li id="5">6</li>'>, <Selector xpath='//li' data='<li id="6" class="item cli-1">7</li>'>, <Selector xpath='//li' data='<li id="7" class="item cli-2">8</li>'>]
示例2
res = sel.xpath("//ul//li")
print(res)
结果
[
<Selector xpath='//ul//li' data='<li>1</li>'>,
<Selector xpath='//ul//li' data='<li>2</li>'>,
<Selector xpath='//ul//li' data='<li>3</li>'>,
<Selector xpath='//ul//li' data='<li>4</li>'>,
<Selector xpath='//ul//li' data='<li>5</li>'>,
<Selector xpath='//ul//li' data='<li>6</li>'>
]
选择直接子节点
{node}/{node1}: 选择从{node}的直接子节点中选择标签为{node1}节点.
示例1:
res = sel.xpath("//body/li")
print(res)
结果:
[<Selector xpath='//body/li' data='<li id="6" class="item cli-1">7</li>'>, <Selector xpath='//body/li' data='<li id="7" class="item cli-2">8</li>'>]
从选择的子节点列表中选择第n个子节点
//{node}[n]: 先把兄弟节点聚合在一个list变成[list_1, list_2, ...], 然后从每个list中选择第n个, 如果list的长度不足n个则跳过.
(//{node})[n]: 把所有选择的节点放在一条list, 然后从这个list中选择第n个
示例1:
res = sel.xpath("//li[1]")
print(res)
res = sel.xpath("//li[3]")
print(res)
结果:
[<Selector xpath='//li[1]' data='<li id="0">1</li>'>, <Selector xpath='//li[1]' data='<li id="3">4</li>'>, <Selector xpath='//li[1]' data='<li id="6" class="item cli-1">7</li>'>]
[<Selector xpath='//li[3]' data='<li id="2">3</li>'>, <Selector xpath='//li[3]' data='<li id="5">6</li>'>]
示例2
res = sel.xpath("(//li)[1]")
print(res)
res = sel.xpath("(//li)[3]")
print(res)
结果:
[<Selector xpath='(//li)[1]' data='<li>1</li>'>]
[<Selector xpath='(//li)[3]' data='<li>3</li>'>]
使用节点属性作为选择条件
{node}[@{attr}='{val}']: 选中节点必须有名字为{attr}的属性, 且这个属性的值等于{val}.
{node}[contains(@{attr}, '{val}']: 选中节点必须有名字为'{attr}'的属性, 且这个属性的值包含{val}.
示例1
res = sel.xpath("//p[@class='cp1']")
print(res)
res = sel.xpath("//p[@class='cp2']")
print(res)
res = sel.xpath("//p[contains(@class, 'cp1')]")
print(res)
结果
[]
[<Selector xpath="//p[@class='cp2']" data='<p class="cp2">test p2 <span>next p2<...'>]
[<Selector xpath="//p[contains(@class, 'cp1')]" data='<p class="cp1 section">test p1 <span>...'>]
[<Selector xpath="descendant-or-self::p[@class and contains(concat(' ', normalize-space(@class), ' '), ' cp1 ')]" data='<p class="cp1 section">test p1 <span>...'>]
在包含条件中, 如果使用'class'属性, 可以用css选择器简化:
示例2:
res = sel.css("p.cp1")
print(res)
结果:
[<Selector xpath="descendant-or-self::p[@class and contains(concat(' ', normalize-space(@class), ' '), ' cp1 ')]" data='<p class="cp1 section">test p1 <span>...'>]
提取节点属性的值
{node}/@{attr}: 提取选择节的点中属性名为{attr}的值.
示例1:
res = sel.xpath("//p/@class")
print(res)
print("\n")
结果
[<Selector xpath='//p/@class' data='cp1 section'>, <Selector xpath='//p/@class' data='cp2'>]
提取节点中的文本内容
{node}/text(): 提取当前选择节点的文本内容, 不包括子节点的文本.
{node}//text(): 提取选择节点的文本内容, 包括子节点的文本.
示例1:
res = sel.xpath("//p//text()")
print(res)
res = sel.xpath("//p/text()")
print(res)
结果:
[<Selector xpath='//p//text()' data='test p1 '>, <Selector xpath='//p//text()' data='next p1'>, <Selector xpath='//p//text()' data='test p2 '>, <Selector xpath='//p//text()' data='next p2'>]
[<Selector xpath='//p/text()' data='test p1 '>, <Selector xpath='//p/text()' data='test p2 '>]
在xpath表达式中使用变量
在xpath表达式中是${varname}定义变量, 类似于bash
示例1:
#使用变量$val
res = sel.xpath("//li[@id=$val]", val='1')
print(res)
res = sel.xpath("//li[@id=$val]", val='3')
print(res)
res = sel.xpath("//li[@id=$val]", val='6')
print(res)
结果:
[<Selector xpath='//li[@id=$val]' data='<li id="1">2</li>'>]
[<Selector xpath='//li[@id=$val]' data='<li id="3">4</li>'>]
[<Selector xpath='//li[@id=$val]' data='<li id="6" class="item cli-1">7</li>'>]
