xPath，beautifulsoup和pyquery
一、XPath
from lxml import etree
html = etree.parse('html源代码',etree.HTMLPaser())
1.节点的获取
a.html.xpath('//*') #匹配HTML中的所有节点
b.html.xapth('//li') #匹配所有的li节点
c.// 获取所有的子孙节点 ‘/’ 获取子节点(区别好 '//' 与 '/')
d.html.xapth('//li[@class='item-0']') #根据属性匹配
e.html.xapth('//li[contains(@class,'li')]) #属性多值匹配 contains()方法,第一个参数传入属性名称，第二个参数传入属性值，只要此属性包含所传入的属性值就可以完成匹配
f.多属性匹配 .html.xapth('//li[contains(@class,'li') and @name='item'])
g.按顺序选择 html.xapth('//li[last()]') 最后一个li节点
html.xapth('//li[position()<3]') 位置小于3的li节点
html.xapth('//li[1]') 选择第一个li节点
h.节点轴选择 html.xapth('//li/child::') 直接子节点
html.xapth('//li/ancestor::') 所有祖先节点
html.xapth('//li'/attribute::) 获取所有的属性值
html.xapth('//li/decendant::') 获取所有的子孙节点
2.属性，文本获取
(1).文本获取
html.xapth('//li/text()')
(2).属性获取
html.xapth('//li/@class') #获取li标签的class的属性值
二、BeautifulSoup
1.节点选择器
直接调用节点名称就可以选择节点元素，在调用string属性就可以得到节点内的文本
eg：soup.title.string
a.提取信息：可以通过name属性获得节点的名称 soup.title.name
b.获取属性：每个节点有多个属性，比如 id，class等。选择这个节点元素之后，可以调用attrs获取所有的属性 soup.p.attrs
soup.p.attrs[‘name’] 获取属性name的值 另一种简单的方式：soup.p['name']
c.获取内容：soup.p.string 获取p标签的内容
2.嵌套选择：比如我们之前获取了head的节点元素，我们可以继续调用head来选去head的内部元素
3.关联选择
a.子节点与子孙节点： soup.p.contents 获取p标签元素的所有直接子节点，返回的是列表
soup.p.children 也是返回p标签元素的所有直接子节点， 不过返回的是生成器
soup.p.descendants 返回p标签的所有的子孙节点，返回的是生成器
b.父节点和祖先节点
soup.p.parent 返回的是p标签的直接父节点
soup.p.parents 返回的是p标签的所有祖先节点，返回的是生成器
c.兄弟节点
soup.p.next_slibling 返回的是节点的下一个节点
soup.p.next_sliblings 返回的是下面的所有的兄弟节点，返回的是生成器
soup.p.previous_slibling 返回的是上一个兄弟节点
soup.p.previous_slibling 返回的是上面的所有的兄弟节点，返回的生成器
4.方法选择器
a.find_all() 查找所有符合的元素，返回的是列表 find_all(name,attrs,recursive,tetxt,**kwargs)
name:根据节点名称查询元素 soup.find_all(name='ul') 查询文档树中所有的ul的标签元素
attrs：根据属性查询节点 soup.find_all(attr={'id':'list-1'}) 查询文档树中所有id属性值为‘list-1’的元素
text: 根据文本查询节点 传入的的形式可以是字符串，也可以是正则表达式对象 soup.find_all(text=re.compile('link')) 查询文本中所有含link的标签元素
b.find() find 返回的生死单个元素，也就是匹配的第一个元素，方法同find_all()
c. find_parents(),find_parent(),find_next_siblings(),find_next_sibling(),find_previous_siblings(),find_next_sibling(),find_all_next(),find_next(),find_all_prevous(),find_privous()
这一组方法都是和find_all()与find()一致
5.CSS选择器
使用CSS选择器时，只需要调用select() 方法，传入相应的CSS选择器即可
soup.select('CSS选择器')
三、pyquery
import pyquery as pq
doc = pq(html文档or url)
1.基本CSS选择器
doc('CSS选择器')
2.查找节点
a.查找子节点：find()方法 find()方法查找的是所有的子孙节点，如果只想查找子节点，可以用children()方法；find()或者children()方法直接传入CSS选择器即可
b.查找父节点：parent() 查询直接父节点，parents() 查找祖先节点 都是传入CSS选择器即可
c.兄弟节点：siblings() 筛选摸个兄弟节点可以传入CSS选择器
3.遍历：对于多个节点的结果，就需要遍历，需要调用items()方法 doc('li').items() 遍历所有的li标签元素
4.获取信息
a.获取属性 提取到节点之后，就可以调用attr()方法获取属性 doc('.item-0.active a').attr('href')
也可以通过调用attr属性来获取属性 doc('.item-0.active a').attr.href (说明：当返回结果包含多个节点时，调用attr()方法智慧得到第一个属性值)
b获取文本内容：调用text()方法 doc('.item-0.active a').text()
c.获取HTML文本 ，调用html()方法 doc('.item-0.active a').html()
5.节点操作
a.addClass(),removeClass() 动态的改变节点的class的属性值
b.attr，text，html 修改属性值，文本内容，html文本
doc('.item-0.active a').attr('name','link'); doc('.item-0.active a').text('changed item'); doc('.item-0.active a').html('<span> change item</span>')
c.remove 移除，可以将特定的节点移除 doc('.item-0.active a').remove()
6.伪类选择器(举例说明)：
a. li = doc('li:first-child')
b. li = doc('li:last-child')
c. li = doc('li:nth-child(2)')
d. li = doc('li:gt(2)')
e .li = doc('li:nth-child(2n)')
f. li = doc('li:contain(second))
好了就写到这了！！！！！！！！！！！！！！！！！！！！！！！
