初识requests模块
requests模块
原来使用的:urllib模块
requests模块
python中原生的一款基于网络请求的模块,功能非常强大,简单便捷,效率极高。
作用:
模拟浏览器发请求。
如何使用: (requests模块的编码流程)
指定url
发起请求
获取响应数据
持久化存储
环境安装:
pip install requests
实战编码:
需求:爬取搜狗首页的页面数据
代码:
1 import requests
2
3 if __name__ == '__main__':
4 # 指定URL
5 url = "https://www.sogou.com/"
6 # 发起请求,返回一个响应对象
7 response = requests.get(url=url)
8 # 获取响应数据,返回的是一个字符串类型的响应数据
9 page_text = response.text
10 # 持久化存储
11 with open("sogou.html","w",encoding="utf-8") as f:
12 f.write(page_text)
13 print("爬取数据结束!")
浙公网安备 33010602011771号