代理(Proxy),也称网络代理,是一种特殊的网络服务,允许一个网络终端(一般为客户端)通过这个服务与另一个网络终端(一般为服务器)进行非直接的连接。

代理服务器位于客户端和访问互联网之间,服务器接收客户端的请求,然后代替客户端向目标网站发出请求,所有的流量路由均来自代理服务器的IP地址,从而获取到一些不能直接获取的资源。

大规模频繁请求(如性能测试)服务器可能会开启验证,甚至直接把IP给封禁掉。为防止这种情况发生,我们需要将设置代理来解决这个问题,在Requests中需要用到proxies这个参数,在爬虫中会常用到代理。

import requests

base_url = "http://httpbin.org"

proxie = {"http":"http://222.95.144.122:3000"}
r = requests.get(base_url+'/get',proxies=proxie)
print(r.text)