2020年1月6日
爬虫Proxy（代理）的设置
摘要： 爬虫的时候默认会使用环境变量 http_proxy 来设置 HTTP Proxy。假如一个网站它会检测某一段时间某个IP 的访问次数，如果访问次数过多，它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作，每隔一段时间换一个代理，这样就不怕爬取大量数据的时候突然被封啦。本文IP来自国内高匿免 阅读全文
posted @ 2020-01-06 16:02 NAVYSUMMER 阅读(2180) 评论(0) 推荐(0)
交流群 编程书籍