python xpath lxml调试

1
2
3
4
5
6
7
8
9
10
11
<li>
<a href="/Н">Н</a>:<a class="det" href='/view/Н/ньютон'>ньютон</a>
 【物理】牛顿(力单位)
<div class="satis" style="display:none">
<span>您对本词条的内容满意吗：</span>
<font>
<a href="###" tip-data="good" updateword="ньютон" satis="245057">满意</a>
<a href="###" tip-data="update" updateword="ньютон" satis="2">请改进</a>
</font>
</div>
</li>

遇到此段xml需要处理，查了些资料，现解决如下：

1
2
3
4
5
6
7
8
9
10
11
12
def readFile(filen,decoding): 
    html = '' 
    try: 
        html = open(filen).read().decode(decoding) 
    except: 
        pass 
    return html 
   
def extract(file,decoding, xpath): 
    html = readFile(file, decoding) 
    tree = etree.HTML(html)
    return tree.xpath(xpath)

两个函数，用于解决读取中文网页时出现的编码问题。


1
2
3
4
5
6
7
8
9
10
11
12
def GetXpath1(url,xpath,saveFile):
    response=urllib2.urlopen(url)
    data=response.read()
    f=file("temp.txt",'w')   
    f.write(data)
    f.close()
    sections = extract('temp.txt', 'utf-8', xpath)
    print len(sections),type(sections)#输出1 <type 'list'>
    print sections#此处为元素[<Element a at 0x26c8948>]
    print sections[0].tag,sections[0].attrib,sections[0].attrib.get("href")
    #输出a {'href': u'/view/\u041d/\u041d\u043e\u0432\u0433\u043e\u0440\u043e\u0434', 'class': 'det'} /view/Н/Новгород
    print type(sections[0].attrib)#<type 'lxml.etree._Attrib'>

此处关键地方，花了些时间解决，主要是为了提取

<li><a href="/Н">Н</a>:<a class="det" href='/view/Н/ньютон'>ньютон</a>

中的俄语，需要注意的是Element的属性tag, attrib,get("")的使用

到此基本就获取需要东西了

posted @ 2014-01-13 19:44  完美视界  阅读(682)  评论(0)    收藏  举报