xPath,beautifulsoup和pyquery

一、XPath

from lxml import etree

html = etree.parse('html源代码',etree.HTMLPaser())

1.节点的获取

  a.html.xpath('//*')  #匹配HTML中的所有节点

  b.html.xapth('//li') #匹配所有的li节点

  c.// 获取所有的子孙节点   ‘/’  获取子节点(区别好 '//'  与  '/')

  d.html.xapth('//li[@class='item-0']')  #根据属性匹配

  e.html.xapth('//li[contains(@class,'li')])  #属性多值匹配 contains()方法,第一个参数传入属性名称,第二个参数传入属性值,只要此属性包含所传入的属性值就可以完成匹配

  f.多属性匹配  .html.xapth('//li[contains(@class,'li') and @name='item'])

  g.按顺序选择 html.xapth('//li[last()]') 最后一个li节点            

     html.xapth('//li[position()<3]') 位置小于3的li节点        

     html.xapth('//li[1]')  选择第一个li节点

  h.节点轴选择 html.xapth('//li/child::')  直接子节点      

     html.xapth('//li/ancestor::') 所有祖先节点         

   html.xapth('//li'/attribute::)  获取所有的属性值

   html.xapth('//li/decendant::') 获取所有的子孙节点

  2.属性,文本获取

    (1).文本获取

      html.xapth('//li/text()')

    (2).属性获取

      html.xapth('//li/@class')  #获取li标签的class的属性值

二、BeautifulSoup

1.节点选择器

  直接调用节点名称就可以选择节点元素,在调用string属性就可以得到节点内的文本

  eg:soup.title.string

  a.提取信息:可以通过name属性获得节点的名称      soup.title.name

  b.获取属性:每个节点有多个属性,比如 id,class等。选择这个节点元素之后,可以调用attrs获取所有的属性    soup.p.attrs    

       soup.p.attrs[‘name’]  获取属性name的值      另一种简单的方式:soup.p['name']

  c.获取内容:soup.p.string   获取p标签的内容

2.嵌套选择:比如我们之前获取了head的节点元素,我们可以继续调用head来选去head的内部元素

3.关联选择

  a.子节点与子孙节点:  soup.p.contents 获取p标签元素的所有直接子节点,返回的是列表

              soup.p.children 也是返回p标签元素的所有直接子节点, 不过返回的是生成器

              soup.p.descendants 返回p标签的所有的子孙节点,返回的是生成器

  b.父节点和祖先节点

              soup.p.parent  返回的是p标签的直接父节点

              soup.p.parents 返回的是p标签的所有祖先节点,返回的是生成器

  c.兄弟节点  

              soup.p.next_slibling  返回的是节点的下一个节点

              soup.p.next_sliblings      返回的是下面的所有的兄弟节点,返回的是生成器

              soup.p.previous_slibling  返回的是上一个兄弟节点

              soup.p.previous_slibling  返回的是上面的所有的兄弟节点,返回的生成器

4.方法选择器

  a.find_all()   查找所有符合的元素,返回的是列表     find_all(name,attrs,recursive,tetxt,**kwargs)

    name:根据节点名称查询元素  soup.find_all(name='ul')   查询文档树中所有的ul的标签元素

    attrs:根据属性查询节点   soup.find_all(attr={'id':'list-1'})  查询文档树中所有id属性值为‘list-1’的元素

    text:   根据文本查询节点 传入的的形式可以是字符串,也可以是正则表达式对象   soup.find_all(text=re.compile('link'))   查询文本中所有含link的标签元素

  b.find()  find 返回的生死单个元素,也就是匹配的第一个元素,方法同find_all()

  c. find_parents(),find_parent(),find_next_siblings(),find_next_sibling(),find_previous_siblings(),find_next_sibling(),find_all_next(),find_next(),find_all_prevous(),find_privous()

   这一组方法都是和find_all()与find()一致

5.CSS选择器

  使用CSS选择器时,只需要调用select() 方法,传入相应的CSS选择器即可

  soup.select('CSS选择器')

三、pyquery

import pyquery as pq

doc = pq(html文档or url)

1.基本CSS选择器

  doc('CSS选择器')

2.查找节点  

  a.查找子节点:find()方法  find()方法查找的是所有的子孙节点,如果只想查找子节点,可以用children()方法;find()或者children()方法直接传入CSS选择器即可

  b.查找父节点:parent()  查询直接父节点,parents() 查找祖先节点    都是传入CSS选择器即可

  c.兄弟节点:siblings() 筛选摸个兄弟节点可以传入CSS选择器

3.遍历:对于多个节点的结果,就需要遍历,需要调用items()方法  doc('li').items()   遍历所有的li标签元素

4.获取信息

  a.获取属性   提取到节点之后,就可以调用attr()方法获取属性  doc('.item-0.active a').attr('href')  

          也可以通过调用attr属性来获取属性    doc('.item-0.active a').attr.href  (说明:当返回结果包含多个节点时,调用attr()方法智慧得到第一个属性值)

  b获取文本内容:调用text()方法   doc('.item-0.active a').text()

  c.获取HTML文本 ,调用html()方法   doc('.item-0.active a').html()

5.节点操作

  a.addClass(),removeClass() 动态的改变节点的class的属性值

  b.attr,text,html 修改属性值,文本内容,html文本

     doc('.item-0.active a').attr('name','link'); doc('.item-0.active a').text('changed item');   doc('.item-0.active a').html('<span> change item</span>')

  c.remove 移除,可以将特定的节点移除   doc('.item-0.active a').remove()

6.伪类选择器(举例说明):

  a. li = doc('li:first-child')

  b. li = doc('li:last-child')

  c. li = doc('li:nth-child(2)')

  d. li = doc('li:gt(2)')

  e .li = doc('li:nth-child(2n)')

  f. li = doc('li:contain(second))

 

 

好了就写到这了!!!!!!!!!!!!!!!!!!!!!!!

posted @ 2018-07-28 15:49  夜尽天已明  阅读(921)  评论(0编辑  收藏  举报