2021年10月6日
如何通过 User-Agent 识别百度蜘蛛
摘要： 如果有大量的百度蜘蛛抓取网站就需要注意了：有可能是其他爬虫伪造百度蜘蛛恶意抓取网站。 如果遇到这种情况，这时候就需要查看日志来确定是不是真正的百度蜘蛛（baidu spider）。搜索引擎蜘蛛、用户访问、爬虫等访问都会留下 User-Agent。 我们可以通过 User-Agent 大概判断是不是百 阅读全文
posted @ 2021-10-06 11:51 爬虫程序大魔王 阅读(1218) 评论(0) 推荐(0)