requests代理

今天我们来讲一下，requests的代理。

普通代理

import requests

proxies = {
  "http": "http://10.10.1.10:3128",
  "https": "https://10.10.1.10:1080",
}

requests.get("http://example.org", proxies=proxies)

　你也可以通过环境变量 HTTP_PROXY 和 HTTPS_PROXY 来配置代理。

$ export HTTP_PROXY="http://10.10.1.10:3128"
$ export HTTPS_PROXY="https://10.10.1.10:1080"

$ python
>>> import requests
>>> requests.get("http://example.org")

　　私密代理

私密代理指定的是付费的代理，需要用户名和密码

proxies = {
    "http": "http://user:pass@10.10.1.10:3128/",
}

注意，代理 URL 必须包含连接方式。

socks代理

在本地：当你的电脑上安装了shadowsocks，可以使用这种方案

你可以用 pip 获取依赖:

$ pip install requests[socks]

　　

proxies = {
    'http': 'socks5://127.0.0.1:1080',
    'https': 'socks5://127.0.0.1:1080'
}

r = requests.get('https://ip.cn/',headers=headers,proxies=proxies,timeout=2)
with open("a.html",'w',encoding='utf-8') as f:
    f.write(r.text)

　别忘记开启你的shadowsocks

还可以使用pysocks模块，详情见他的官方文档https://pypi.org/project/PySocks/

import socks
import socket
import requests

s = socks.socksocket()

socks.set_default_proxy(socks.SOCKS5,"127.0.0.1",1086)#端口号默认是1080，因为我的ss上设定的端口号是1086所以这里用的是
socket.socket = socks.socksocket
headers = {
    "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36',
}



r = requests.get('https://ip.cn/',headers=headers,timeout=2)
with open("a.html",'w',encoding='utf-8') as f:
    f.write(r.text)

 我在想一个问题，在服务器上如何实现socks代理呢，在服务器上我们不能按照shadowsocks,在这种情况下该如何进行呢，我还没有想好，这个问题先放一下