网络数据抓取之requests模块

1.requests.get()函数下载一个网页

requests.get()函数接受一个要下载的URL 字符串，通过在requests.get()的返回值上调用type()，返回一个

Response 对象，其中包含了Web 服务器对请求做出的响应

test1.zip是我上传到服务器的一个含txt的压缩包，从云端获取文档代码如下：

import requests

# 获取网页信息
res = requests.get('https://files.cnblogs.com/files/masterwayne/test1.zip')
# 打印类型
print(type(res))

# 网页请求是否成功
if res.status_code == requests.codes.ok:
    # 打印文件大小（字节数）
    print(len(res.text))
    # 建立文件，以二进制打开，便于存储编码格式
    file = open('test.zip', 'wb')
    # 将文件逐字节保存到本地
    for i in res.iter_content(434):
        file.write(i)
    # 关闭文件
    file.close()



总结：
     下载并保存到文件的完整过程如下：

　　　　1．调用requests.get()下载该文件。
　　　　2．用'wb'调用open()，以写二进制的方式打开一个新文件。
　　　　3．利用Respose 对象的iter_content()方法做循环。
　　　　4．在每次迭代中调用write()，将内容写入该文件。
　　　　5．调用close()关闭该文件。