Python urllib与urllib2

　　Python中包含了两个网络模块，分别是urllib与urllib2，urllib2是urllib的升级版，拥有更强大的功能。urllib，让我们可以像读文件一样，读取http与ftp。而urllib2，则在urllib的基础上，提供了更多的接口，如cookie、代理、认证等更强大的功能。

　　urllib常用函数:

　　　　1、urllib.urlopen(url[, data[, proxies]]):   打开一个网址，并返回一个类似于文件的对象，对于该对对象，我们可以执行以下操作。

      • 　 read() , readline() , readlines() , fileno() , close() ：这些方法的使用方式与文件对象完全一样;
      •     info()：       返回一个httplib.HTTPMessage 对象，表示远程服务器返回的头信息；
      •     getcode()： 返回Http状态码。如果是http请求，200表示请求成功完成;404表示网址未找到；
      •     geturl()：    返回请求的url；

　　　　　　参数中的data，表示以post方式提交到web的参数，proxies用于设置代理，这两个参数很少用到。

　　　　2、urllib.urlretrieve(url[, filename[, reporthook[, data]]]):  将远程数据下载到本地。url，是网址，filename表示的是本地路径，用于存放下载的数据，reporthook，是一个回调函数，当连接到服务器时，或者获得数据时，将调用该函数，data，用于post的数据。

　　　　3、urlcleanup（）清除urlretrieve函数的缓存。

　　　　4、urllib中的一些字符编码的辅助函数

      • urllib.quote(string[, safe])：  对字符串进行编码。参数safe指定了不需要编码的字符;
      • urllib.unquote(string) ：       对字符串进行解码；
      • urllib.quote_plus(string [ , safe ] ) ：  与urllib.quote类似，但这个方法用'+'来替换' '，而quote用'%20'来代替' '
      • urllib.unquote_plus(string ) ：     　　对字符串进行解码；
      • urllib.urlencode(query[, doseq])：　　将dict或者包含两个元素的元组列表转换成url参数。例如 字典{'name': 'dark-bull', 'age': 200}将被转换为"name=dark-bull&age=200"
      • urllib.pathname2url(path)：        　　 将本地路径转换成url路径；
      • urllib.url2pathname(path)：         　　将url路径转换成本地路径

　　针对上面的一个样例：

　　　　

 1 # coding : UTF-8
 2 
 3 import urllib
 4 import re
 5 '''
 6 def getHtml(url):
 7     urlFile = urllib.urlopen(url)
 8     urllib.FancyURLopener
 9     print urlFile.getcode()
10     return urlFile.read()
11 
12 def getJpg(html):
13     reg = r'src="(http://.*?\.jpg)"'
14     index = 0
15     imgre = re.compile(reg)
16     jpgs = re.findall(imgre, html)
17     for x in jpgs:
18         print "url = %s    %d.jpg\n" % (x, index)
19         urllib.urlretrieve(x, "C:\Users\Hawk\Desktop\jpg\%d.jpg" % index)
20         index = index + 1
21 
22 
23 html = getHtml(r"http://image.baidu.com/")
24 print "Game Over   "*3
25 '''
26 
27 data = 'name = ~a+3'
28 
29 data1 = urllib.quote(data)
30 print data1 # result: name%20%3D%20%7Ea%2B3
31 print urllib.unquote(data1) # result: name = ~a+3
32 
33 data2 = urllib.quote_plus(data)
34 print data2 # result: name+%3D+%7Ea%2B3
35 print urllib.unquote_plus(data2)    # result: name = ~a+3
36 
37 data3 = urllib.urlencode({ 'name': 'dark-bull', 'age': 200 })
38 print data3 # result: age=200&name=dark-bull
39 
40 data4 = urllib.pathname2url(r'd:/a/b/c/23.php')
41 print data4 # result: ///D|/a/b/c/23.php
42 print urllib.url2pathname(data4)    # result: D:/a/b/c/23.php

　　urllib2的常用函数：

　　　　1、urllib2.urlopen(url[, data][, timeout])与urllib的函数一样

　　　　2、urllib2.Request(url[, data][, headers][, origin_req_host][, unverifiable])，

　　　　　　url:是网址、文件路径、ftp路径

　　　　　　data：通过urllib.urlencode形成的字符串。

　　　　　　header:请求头

　　　　　　后两个参数：用于第三方的cookie，详情可参看官网。http://docs.python.org/2/library/urllib2.html#urllib2.BaseHandler

posted @ 2014-03-10 09:31  Fly Hawk  阅读(8303)  评论(0)  编辑  收藏  举报