一、github上下载开源项目:git clone git@github.com:jhao104/proxy_pool.git

二、修改配置文件(redis配置等)

三、启动代理ip爬虫程序:python proxyPool.py schedule

四、启动代理ip提供服务:python proxyPool.py server

五、使用代理:

# 从代理池提供ip接口随机获取一个ip
requests.get("http://127.0.0.1:5010/get/").json()
# 删除一个无效代理ip
requests.get("http://127.0.0.1:5010/delete/?proxy={}".format(proxy))

 

posted on 2020-08-01 05:01  焚音留香  阅读(174)  评论(0编辑  收藏  举报