python 爬虫

Requests库

requests.request()构造一个请求，支撑以下各方法的基础方法

requests.get() 获取HTML的主要方法，对应HTTP的get

requests.head()获取HTML网页头信息的方法，对应HTTP的HEAD

requests.post() 向HTML提交POST请求的方法，对应HTTP的POST

requests.put() 向HTML提交PUT请求的方法，对应HTTP的PUT

requests.patch()向HTML提交局部修改请求，对应HTTP的PATCH

requests.patch()向HTML提交删除请求，对应HTTP的DELETE

import requests
r = requests.get("http://www.baidu.com")
r.status_code
r.encoding = 'utf-8'
r.text
r.headers

get()

r = requests.get(URL)构造一个向服务器请求资源的Requests对象 返回一个包含服务器资源的Response对象 <class 'requests.models.Response'>

requests.get(URL,param = None,**kwargs)
#URL :拟获取页面的url链接
#param :url中的额外参数，字典或字节流格式，可选
#**kwargs 12个控制访问参数，可选

Response对象属性：

r.status_code HTTP请求的返回状态，200连接成功，404失败

r.text HTTP响应内容的字符串形式，即url对应的页面内容

r.encoding 从HTTP header中猜测的响应内容编码方式

r.apparent_encoding 从内容中分析出的响应内容编码方式（备选编码方式）

r.content HTTP响应内容的二进制形式

Requests 库异常

requests.ConnectionError 网络连接错误异常，如DNS查询失败、拒绝连接等

requests.HTTPError HTTP错误异常

requests.URLRequired URL缺失异常

requests.TooManyRedirects 超过最大重定向次数，产生重定向异常

requests.ConnectTimeout 连接远程服务器超时异常

requests.Timeout 请求URL超时，产生超时异常

r.raise_for_status() 如果不是200,产生异常requests.HTTPError

import requests

def getHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"

if __name__ == "__main__":
    url = "http://www.baidu.com"
    print(getHTMLText(url))

HTTP协议

HTTP Hypertext Transfer Protocol,超文本传输协议

HTTP是一个基于“请求与响应”模式的，无状态的应用层协议。

HTTP协议采用URL作为定位网络资源的标识。

URL格式 http://host[:port][path]

host 合法的Internet主机域名或IP地址

port 端口号 默认80

path 请求资源的路径

URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数字资源

HTTP协议对资源的操作：

GET 请求获取URL位置的资源

HEAD 请求获取URL位置资源的响应消息报告，即获得该资源的头部信息

POST 请求向URL位置的资源后附加新的数据

PUT 请求向URL位置存储一个资源，覆盖原来URL位置的资源

PATCH 请求局部更新URL位置资源，即改变该处资源的部分内容

DELETE 请求删除URL位置存储的资源