摘要:爬虫,是大家获取互联网公开数据的有效手段。爬虫、反爬虫技术、反-反爬虫技术随着互联网的不断发展,也在不断发展更新, 本文简要介绍现代的爬虫/BOT对抗技术,如有疏漏,多谢指正! 一、反爬虫/BOT技术 1.1 Robots.txt Robots.txt是一个古老的爬虫协议文件,他的位置位于域名根目录 阅读全文
posted @ 2019-01-03 23:38 THISISPAN 阅读 (1223) 评论 (5) 编辑
摘要:现在出来创业了,目前公司在深圳。 做了啥呢, 做了一个动态代理 IP 池项目 现在邀请大家免费测试体验!免费激活码:关注微信公众号:2808proxy (每人每天限领一次噢~)网站:https://www.2808proxy.com 目前项目概括:1.新增海量 IP:目前机房已部署全国 150+城市 阅读全文
posted @ 2019-01-03 19:25 THISISPAN 阅读 (556) 评论 (0) 编辑