python的requests模块

引入

 

• 在python实现的网络爬虫中，用于网络请求发送的模块有两种，第一种为urllib模块，第二种为requests模块。urllib模块是一种比较古老的模块，在使用的过程中较为繁琐和不便。当requests模块出现后，就快速的代替了urllib模块，因此，在我们课程中，推荐大家使用requests模块。

 

• Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。

 

警告：非专业使用其他 HTTP 库会导致危险的副作用，包括：安全缺陷症、冗余代码症、重新发明轮子症、啃文档症、抑郁、头疼、甚至死亡。

what is requests

 

• requests模块是python中原生的基于网络请求的模块，其主要作用是用来模拟浏览器发起请求。功能强大，用法简洁高效。在爬虫领域中占据着半壁江山的地位。

 

为什么要使用requests模块

 

• 在使用urllib模块的时候，会有诸多不便之处，总结如下：
  
  
  • 手动处理url编码
  
  
  • 手动处理post请求参数
  
  
  • 处理cookie和代理操作繁琐
  
  
  • ……
  
  
  

 

• 使用requests模块：
  
  
  • 自动处理url编码
  
  
  • 自动处理post请求参数
  
  
  • 简化cookie和代理操作
  
  
  • ……
  
  
  

 

如何使用requests模块

 

• 环境安装
  
  
  • pip install requests
  
  
  

 

• 使用流程/编码流程
  
  
  • 指定url
  
  
  • 基于requests模块发起请求
  
  
  • 获取响应对象中的数据值
  
  
  • 持久化存储
  
  
  

 

第一个爬虫程序

 

• 需求：爬取搜狗首页的页面数据

 

1. #导包
2. import requests
4. #step_1:指定url
5. url = 'https://www.sogou.com/'
6. #step_2:发起请求:使用get方法发起get请求，该方法会返回一个响应对象。参数url表示请求对应的url
7. response = requests.get(url=url)
8. #step_3:获取响应数据:通过调用响应对象的text属性，返回响应对象中存储的字符串形式的响应数据（页面源码数据）
9. page_text = response.text
10. #step_4:持久化存储
11. with open('./sogou.html','w',encoding='utf-8') as fp:
12. fp.write(page_text)
13. print('爬取数据完毕！！！')

基于requests模块经典案例实战

通过5个基于requests模块的爬虫项目对该模块进行学习和巩固

 

• 基于requests模块的get请求
  
  
  • 需求：爬取搜狗指定词条对应的搜索结果页面（简易网页采集器）
  
  
  • 反爬机制
    
    
    • User-Agent：请求载体的身份标识，使用浏览器发起的请求，请求载体的身份标识为浏览器，使用爬虫程序发起的请求，请求载体为爬虫程序。
    
    
    • UA检测：相关的门户网站通过检测请求该网站的载体身份来辨别该请求是否为爬虫程序，如果是，则网站数据请求失败。因为正常用户对网站发起的请求的载体一定是基于某一款浏览器，如果网站检测到某一请求载体身份标识不是基于浏览器的，则让其请求失败。因此，UA检测是我们整个课程中遇到的第二种反爬机制，第一种是robots协议。
    
    
    • UA伪装：通过修改/伪装爬虫请求的User-Agent来破解UA检测这种反爬机制，具体实现见下属代码：
    
    
    
  
  
  

 

1. import requests
2. #指定搜索关键字
3. word = input('enter a word you want to search:')
4. #自定义请求头信息:UA伪装,将包含了User-Agent的字典作用到请求方法的headers参数中即可
5. headers={
6. 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
7. }
8. #指定url，原始url可能是https://www.sogou.com/web?query=撩妹，发现该url携带了参数
9. url = 'https://www.sogou.com/web'
10. #封装get请求参数：如果请求携带了参数，则可以将参数封装到字典中结合这requests请求方法中的data/params参数进行url参数的处理
11. param = {
12. 'query':word,
13. }
14. #发起请求
15. response = requests.get(url=url,params=param,headers=headers)
17. #获取响应数据
18. page_text = response.text
19. #持久化存储
20. fileName = word+'.html'
21. with open(fileName,'w',encoding='utf-8') as fp:
22. fp.write(page_text)

 

• 基于requests模块的post请求
  
  
  • 需求：破解百度翻译
  
  
  

 

1. import requests
2. import json
3. word = input('enter a English word:')
4. #自定义请求头信息:UA伪装,将包含了User-Agent的字典作用到请求方法的headers参数中即可
5. headers={
6. 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
7. }
8. #指定url，原始url可能是https://www.sogou.com/web?query=撩妹，发现该url携带了参数
9. url = 'https://fanyi.baidu.com/sug'
10. #封装post请求参数：如果请求携带了参数，则可以将参数封装到字典中结合这requests请求方法中的data/params参数进行url参数的处理
11. data = {
12. 'kw':word,
13. }
14. #发起请求
15. response = requests.post(url=url,data=data,headers=headers)
17. #获取响应数据:如果响应回来的数据为json，则可以直接调用响应对象的json方法获取json对象数据
18. json_data = response.json()
19. #持久化存储
20. fileName = word+'.json'
21. fp = open(fileName,'w',encoding='utf-8')
22. json.dump(json_data,fp,ensure_ascii=False)

 

• 基于requests模块ajax的get请求
  
  
  • 需求：爬取豆瓣电影分类排行榜 https://movie.douban.com/中的电影详情数据
  
  
  

 

1. import requests
2. if __name__ == "__main__":
4. #指定ajax-get请求的url（通过抓包进行获取）
5. url = 'https://movie.douban.com/j/chart/top_list?'
7. #定制请求头信息，相关的头信息必须封装在字典结构中
8. headers = {
9. #定制请求头中的User-Agent参数，当然也可以定制请求头中其他的参数
10. 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',
11. }
13. #定制get请求携带的参数(从抓包工具中获取)
14. param = {
15. 'type':'5',
16. 'interval_id':'100:90',
17. 'action':'',
18. 'start':'0',
19. 'limit':'20'
20. }
21. #发起get请求，获取响应对象
22. response = requests.get(url=url,headers=headers,params=param)
24. #获取响应内容
25. print(response.json())

 

• 基于requests模块ajax的post请求
  
  
  • 需求：爬取肯德基餐厅查询http://www.kfc.com.cn/kfccda/index.aspx中指定地点的餐厅数据
  
  
  

 

1. import requests
2. if __name__ == "__main__":
4. #指定ajax-post请求的url（通过抓包进行获取）
5. url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
7. #定制请求头信息，相关的头信息必须封装在字典结构中
8. headers = {
9. #定制请求头中的User-Agent参数，当然也可以定制请求头中其他的参数
10. 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',
11. }
13. #定制post请求携带的参数(从抓包工具中获取)
14. data = {
15. 'cname':'',
16. 'pid':'',
17. 'keyword':'北京',
18. 'pageIndex': '1',
19. 'pageSize': '10'
20. }
21. #发起post请求，获取响应对象
22. response = requests.get(url=url,headers=headers,data=data)
24. #获取响应内容
25. print(response.json())

 

• 综合练习
  
  
  • 需求：爬取国家药品监督管理总局中基于中华人民共和国化妆品生产许可证相关数据http://125.35.6.84:81/xk/
  
  
  

 

1. import requests
2. from fake_useragent import UserAgent
4. ua = UserAgent(use_cache_server=False,verify_ssl=False).random
5. headers = {
6. 'User-Agent':ua
7. }
9. url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsList'
10. pageNum = 3
11. for page in range(3,5):
12. data = {
13. 'on': 'true',
14. 'page': str(page),
15. 'pageSize': '15',
16. 'productName':'',
17. 'conditionType': '1',
18. 'applyname':'',
19. 'applysn':''
20. }
21. json_text = requests.post(url=url,data=data,headers=headers).json()
22. all_id_list = []
23. for dict in json_text['list']:
24. id = dict['ID']#用于二级页面数据获取
25. #下列详情信息可以在二级页面中获取
26. # name = dict['EPS_NAME']
27. # product = dict['PRODUCT_SN']
28. # man_name = dict['QF_MANAGER_NAME']
29. # d1 = dict['XC_DATE']
30. # d2 = dict['XK_DATE']
31. all_id_list.append(id)
32. #该url是一个ajax的post请求
33. post_url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsById'
34. for id in all_id_list:
35. post_data = {
36. 'id':id
37. }
38. response = requests.post(url=post_url,data=post_data,headers=headers)
39. if response.headers['Content-Type'] == 'application/json;charset=UTF-8':
40. #print(response.json())
41. #进行json解析
42. json_text = response.json()
43. print(json_text['businessPerson'])