摘要： 1. 什么是爬虫和反爬虫？ 爬虫：使用任何技术手段，批量获取网站信息的一种方式。 反爬虫：使用任何技术手段，阻止别人批量获取自己网站信息的一种方式。 2. 常见的反爬虫机制 通过UA 识别爬虫 有些爬虫的UA是特殊的，与正常浏览器的不一样，可通过识别特征UA，直接封掉爬虫请求 设置IP访问频率，如果 阅读全文