Fork me on GitHub

Max retries exceeded with url

使用requests库请求url,会出现这个错误,原因是:

服务器负载过重,无法建立更多的链接,4种可能:

  1. http连接太多没有关闭导致的。
  2. 机器的内存不够了。
  3. 还有一种可能就是:由于请求频率过快,被目标网站封IP了
  4. 请求的 url 地址错误

解决办法:

1. 增加重试连接次数
requests.adapters.DEFAULT_RETRIES = 5

2. 关闭多余的连接
requests使用了urllib3库,默认的http connection是keep-alive的,requests设置False关闭。
操作方法:
s = requests.session()
s.keep_alive = False
posted @ 2016-10-17 14:17  削微寒  阅读(36773)  评论(0编辑  收藏  举报