Python爬虫一 Requests库

安装

pip install requests

requests库的get（）方法

Response对象包含爬虫返回的全部信息
Response对象包含了服务器返回的所有信息，也包含了request请求的信息

import requests
url = 'http://www.baidu.com'
r = requests.get(url)
print(r.status_code)        //200表示成功
r.headers    //返回get请求获得页面的头部信息

如果r.status_code不是200，说明发生了某些错误！

原则上，apparent_encoding比encoding更为准确，因为apparent_encoding根据网页内容分析出的编码方式

框架

# Requests7个主要方法

head()

post()

post一个字典或键值对时，键值对被默认存储在表单字段下

如果只是一个普通的字符串，则被放在data里面

put()

与post()方法类似，只不过会将原有的数据覆盖掉

request(method, url, **kwargs)

13个访问控制参数