Python爬虫入门(二)之Requests库

Python爬虫入门(二)之Requests库

我是照着小白教程做的,所以该篇是更小白教程hhhhhhhh

一、Requests库的简介

Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用。(摘自Requests库官方文档

二、Requests的功能特性

Requests 完全满足今日 web 的需求。

  • Keep-Alive & 连接池
  • 国际化域名和 URL
  • 带持久 Cookie 的会话
  • 浏览器式的 SSL 认证
  • 自动内容解码
  • 基本/摘要式的身份认证
  • 优雅的 key/value Cookie
  • 自动解压
  • Unicode 响应体
  • HTTP(S) 代理支持
  • 文件分块上传
  • 流下载
  • 连接超时
  • 分块请求
  • 支持 .netrc

Requests 支持 Python 2.6—2.7以及3.3—3.7,而且能在 PyPy 下完美运行。

三、运行环境

  • Windows版本
    我的电脑用的是Win7系统,因为从上大学开始,很多软件装上使用不了,比如VC++6.0等等,当时是说Win10还有很多软件不兼容(PS:16年的Win10还不大成熟...),后来就一直用的Win7,当然前不久微软也发官方通告了,Win7被淘汰了,不过没关系,Win7和Win10在大多数情况下,是类似的,这个爬虫系列我就以Win7为例。
  • Python版本
    看了很多教程,我下了anaconda,它是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项(PS:应该蛮好用,要不然也不会那么多人用它hhh)。这次我下的是3.8版本的,传送门Anaconda官网
  • 集成开发环境(IDE)
    我用的是PyCharm,这个比较经典还好用,是由JetBrains打造的一款Python IDE,传送门JetBrains官网

四、软件安装

  1. 第一个复选框是让你选择64位系统,你可以根据计算机系统确定是否勾选
  2. 第二个复选框是将打开的文件夹做为项目添加进去
  3. 第三个复选框是关联py类型的文件,默认此类型文件用PyCharm打开
  4. 第四个复选框是将启动器dir添加到路径里

五、安装Request库

![开始目录]( https://img-blog.csdnimg.cn/20201127173628721.jpg?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1Bha2hvX1lpcA==,size_16,color_FFFFFF,t_70#pic_center)
点击开始菜单,找到Anaconda的安装目录,以管理员身份运行Anaconda Prompt

// 键入命令
conda install requests

![键入命令]( https://img-blog.csdnimg.cn/20201127235935141.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1Bha2hvX1lpcA,size_16,color_FFFFFF,t_70#pic_center)
键入上面的命令,开始安装Request库
![安装完毕]( https://img-blog.csdnimg.cn/20201128000104829.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1Bha2hvX1lpcA
,size_16,color_FFFFFF,t_70#pic_center)
安装完毕,传送门Requests库官方文档,其中有很多本文没提到的库操作方法。
在安装此库,我遇到了一些问题,就是我看的教程里,博主是直接用的cmd,我也用管理员身份运行,我怀疑是因为安装目录和操作目录不是一个,所以键入命令,不能识别我的字。使用了Anaconda来安装该库,可能对于我来说简单一丢丢hhhhhhh

六、初试PyCharm

![打开PyCharm]( https://img-blog.csdnimg.cn/20201130164605790.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1Bha2hvX1lpcA==,size_16,color_FFFFFF,t_70#pic_center)
打开PyCharm,新建项目,建议放在自己命名测试的文件夹里
新建文件
在文件夹里新建Python文件
输入下方代码导入Request库

import requests #导入Request库

继续输入获取我们想要的网页

r = requests.get('https://unsplash.com') #像目标url地址发送get请求,返回一个response对象
print(r.text) #r.text是http response的网页HTML

![导入requests库]( https://img-blog.csdnimg.cn/2020120110171394.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1Bha2hvX1lpcA,size_16,color_FFFFFF,t_70#pic_center)
点击运行该代码
![runit]( https://img-blog.csdnimg.cn/20201201101745136.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1Bha2hvX1lpcA
,size_16,color_FFFFFF,t_70#pic_center)
页面下方得到运行结果
![结果1]( https://img-blog.csdnimg.cn/20201201101805275.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1Bha2hvX1lpcA==,size_16,color_FFFFFF,t_70#pic_center)
以上用了get请求,我们可以继续输入下方代码查看类型
向网站发送了一个get请求,然后网站会返回一个response,r 就是response

print(type(r))

![输入2]( https://img-blog.csdnimg.cn/20201201105200848.jpg?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1Bha2hvX1lpcA==,size_16,color_FFFFFF,t_70#pic_center)
可以看到输出结果如下
结果2
建议大家多看看Requests库官方文档

没有别的指南了,你现在要靠自己了

祝你好运

posted @ 2020-12-01 11:05  葉謙虛  阅读(403)  评论(0)    收藏  举报