2017年2月9日
转：如何构建爬虫代理服务？
摘要： 起因 做过爬虫的人应该都知道，抓的网站和数据多了，如果爬虫抓取速度过快，免不了触发网站的防爬机制，几乎用的同一招就是封IP。解决方案有2个： 1、同一IP，放慢速度(爬取速度慢) 2、使用代理IP访问(推荐) 1、同一IP，放慢速度(爬取速度慢) 2、使用代理IP访问(推荐) 第一种方案牺牲的就是时 阅读全文
posted @ 2017-02-09 10:36 Donal 阅读(871) 评论(0) 推荐(0) 编辑