urllib库详解

urllib库是python内置的一个http请求库

其实urllib库不好用，没有requests库好用，下一篇文章再写requests库，requests库是基于urllib库实现的

作为最最基本的请求库，了解一下原理和用法还是很有必要的

包含的四个模块：

urllib.request　　请求模块(就像在浏览器输入网址，敲回车一样)

urllib.error　　　异常处理模块(出现请求错误，可以捕捉这些异常)

urllib.parse　　 url解析模块

urllib.robotparser robots.txt解析模块，判断哪个网站可以爬，哪个不可以爬，用的比较少

在python2与python3中有所不同

在python2中：

import urllib2

response = urllib2.urlopen('http://www.baidu.com')

在python3中：

import urllib.request

response = urllib.request.urlopen('http://www.baidu.com')

用法讲解：

urlopen函数

urllib.request.urlopen(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT,*, cafile=None, capath=None, cadefault=False, context=None)

对前三个参数进行讲解：

url参数：

from urllib import request
response = request.urlopen('http://www.baidu.com')
print(response.read().decode('utf-8'))

data参数：

没有data参数时，发送的是一个get请求，加上data参数后，请求就变成了post方式

import urllib
from urllib import request
from urllib import parse

data1= bytes(urllib.parse.urlencode({'word':'hello'}),encoding='utf-8')
data2= bytes(str({'word':'hello'}),encoding='utf-8')

response1= urllib.request.urlopen('http://httpbin.org/post',data = data1)
response2= urllib.request.urlopen('http://httpbin.org/post',data = data2)
print(response1.read())
print(response2.read())

b'{"args":{},"data":"","files":{},"form":{"word":"hello"},"headers":{"Accept-Encoding":"identity","Connection":"close","Content-Length":"10","Content-Type":"application/x-www-form-urlencoded","Host":"httpbin.org","User-Agent":"Python-urllib/3.5"},"json":null,"origin":"113.71.243.133","url":"http://httpbin.org/post"}\n'
b'{"args":{},"data":"","files":{},"form":{"{\'word\': \'hello\'}":""},"headers":{"Accept-Encoding":"identity","Connection":"close","Content-Length":"17","Content-Type":"application/x-www-form-urlencoded","Host":"httpbin.org","User-Agent":"Python-urllib/3.5"},"json":null,"origin":"113.71.243.133","url":"http://httpbin.org/post"}\n'

data参数需要bytes类型，所以需要使用bytes()函数进行编码，而bytes函数的第一个参数需要时str类型，所以使用urllib.parse.urlencode将字典转化为字符串。

提交的url是httpin.org，这个网址用于提供http请求测试，http://httpin.org/post用来测试post请求，可以输出请求和响应信息。

经过测试，通过str({'word':''hello})，将字典转化为字符串也可以

timeout参数：

设置一个超时的时间，如果在这个时间内没有响应，便会抛出异常

import urllib
import urllib.request
import urllib.error

try:
    response = urllib.request.urlopen('http://www.baidu.com',timeout=0.001)
    print(response.read())
except :
    print('error')

将超时时间设置为0.001秒，在这个时间内，没有响应，输出error

使用urlopen()发送请求后，会得到一个响应response，response学习一下：

response

响应类型：

import urllib
from urllib import request

response = urllib.request.urlopen('http://www.baidu.com')
print(type(response))
输出为：
<class 'http.client.HTTPResponse'>

状态码与响应头：

import urllib
from urllib import request

response = urllib.request.urlopen('http://www.baidu.com')
print(response.status)
print(response.getheaders())
print(response.getheader('Server'))
#通过getheader('Server')可以获得一个特定的响应头

200
[('Bdpagetype', '1'), ('Bdqid', '0xf6ba47940001da56'), ('Cache-Control', 'private'), ('Content-Type', 'text/html'), ('Cxy_all', 'baidu+a77af89c048e9272d9feda1e4fd31907'), ('Date', 'Sat, 09 Jun 2018 04:04:51 GMT'), ('Expires', 'Sat, 09 Jun 2018 04:03:53 GMT'), ('P3p', 'CP=" OTI DSP COR IVA OUR IND COM "'), ('Server', 'BWS/1.1'), ('Set-Cookie', 'BAIDUID=B6DF381069A580546B5E16B4BE9FF3AE:FG=1; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com'), ('Set-Cookie', 'BIDUPSID=B6DF381069A580546B5E16B4BE9FF3AE; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com'), ('Set-Cookie', 'PSTM=1528517091; expires=Thu, 31-Dec-37 23:55:55 GMT; max-age=2147483647; path=/; domain=.baidu.com'), ('Set-Cookie', 'BDSVRTM=0; path=/'), ('Set-Cookie', 'BD_HOME=0; path=/'), ('Set-Cookie', 'H_PS_PSSID=26600_1451_21078_18559_26350_26577_20927; path=/; domain=.baidu.com'), ('Vary', 'Accept-Encoding'), ('X-Ua-Compatible', 'IE=Edge,chrome=1'), ('Connection', 'close'), ('Transfer-Encoding', 'chunked')]
BWS/1.1

read方法;

import urllib
import urllib.request

response = urllib.request.urlopen('http://www.baidu.com')
print(type(response.read()))
print(response.read().decode('utf-8'))

response.read()返回的是bytes形式的数据，所以需要用decode('utf-8')进行解码。

urlopen实现了简单的请求，如果我们需要发送复杂的请求那应该怎么办?在urllib库中就需要使用一个Request对象

Request对象　　

import urllib
from urllib import request

#直接声明一个Request对象，并把url当作参数直接传递进来
request = urllib.request.Request('http://www.baidu.com')
response = urllib.request.urlopen(request)
print(response.read().decode('utf-8'))

声明了一个Request对象，把url当作参数传递给这个对象，然后把这个对昂作为urlopen函数的参数

有了这个Request对象就可以实现更复杂的请求，比如加headers等

#利用Request对象实现一个post请求
import urllib
from urllib import request

url = 'http://www.baidu.com'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'
}
data = {'word':'hello'}
data = bytes(str(data),encoding='utf-8')
req = urllib.request.Request(url = url,data = data,headers = headers,method = 'POST')
response = urllib.request.urlopen(req)
print(response.read().decode('utf-8'))

上面的这个请求包含了请求方式、url，请求头，请求体，逻辑清晰。

Request对象还有一个add_header方法，这样也可以添加header

-------------------------------------------------------------------------------------------

一些高级请求方式　

比如设置代理、处理cookie等一些操作，需要一些handler来实现这些功能　

handler相当于辅助的工具来帮助我们处理这些操作

比如ProxyHandler(设置代理的handler)，可以变换自己的IP地址

cookie可以维持登录状态

-------------------------------------------------------------------------------------------

异常处理urllib.error

可以捕获三种异常：URLError,HTTPError(是URLError类的一个子类)，ContentTooShortError

URLError只有一个reason属性

HTTPError有三个属性：code,reason,headers

import urllib
from urllib import request
from urllib import error

try:
    response = urllib.request.urlopen('http://123.com')
except error.URLError as e:
    print(e.reason)

import urllib
from urllib import request
from urllib import error

try:
    response = urllib.request.urlopen('http://123.com')
except error.HTTPError as e:
    print(e.reason,e.code,e.headers)
except error.URLError as e:
    print(e.reason)
else:
    print('RequestSucess!')

URL解析urllib.parse　　

urlparse函数

该函数是对传入的url进行分割,分割成几部分，并对每部分进行赋值

import urllib
from urllib import parse

result = urllib.parse.urlparse('http://www,baidu.com')
print(type(result))
print(result)
输出结果为：

<class 'urllib.parse.ParseResult'>
ParseResult(scheme='http', netloc='www,baidu.com', path='', params='', query='', fragment='')

从输出结果可以看出，这几部分包括：协议类型、域名、路径、参数、query、fragment

urlparse有几个参数：url,scheme,allow_fragments

在使用urlparse时，可以通过参数scheme = 'http'的方式来指定默认的协议类型,如果url有协议类型，scheme参数就不会生效了

import urllib
from urllib import parse

result = urllib.parse.urlparse('https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=python.org&oq=%25E6%2596%25B0%25E6%25B5%25AA&rsv_pq=d28ff08c000024df&rsv_t=d3d8kj5yW7d89rZNhlyrAw%2FRXjh8%2FrDWinUOKVobUbk6BVzP5U8UMplpW1w&rqlang=cn&rsv_enter=1&inputT=1213&rsv_sug3=69&rsv_sug1=63&rsv_sug7=100&bs=%E6%96%B0%E6%B5%AA')
print(type(result))
print(result)
输出结果为：

<class 'urllib.parse.ParseResult'>
ParseResult(scheme='https', netloc='www.baidu.com', path='/s', params='', query='ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=python.org&oq=%25E6%2596%25B0%25E6%25B5%25AA&rsv_pq=d28ff08c000024df&rsv_t=d3d8kj5yW7d89rZNhlyrAw%2FRXjh8%2FrDWinUOKVobUbk6BVzP5U8UMplpW1w&rqlang=cn&rsv_enter=1&inputT=1213&rsv_sug3=69&rsv_sug1=63&rsv_sug7=100&bs=%E6%96%B0%E6%B5%AA', fragment='')

urlunparse函数

与urlparse函数作用相反，是对url进行拼接的　　

urljoin函数

用来拼接url

urlencode函数　　

可以把一个字典转化为get请求参数

posted @ 2018-06-08 22:42 RongHe 阅读(2489) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

PyLab

urllib库详解

包含的四个模块：

在python2与python3中有所不同

用法讲解：

urlopen函数

response

Request对象

-------------------------------------------------------------------------------------------

一些高级请求方式

-------------------------------------------------------------------------------------------

异常处理urllib.error

URL解析urllib.parse

公告