5.分析Robots协议-02.爬虫名称

爬虫名称

• 大家可能会有疑惑，爬虫名是从哪里来的？为什么叫这个名？其实爬虫是有固定名字的，例如百度的爬虫叫做BaiduSpider.
• 如下表列出了一些常见搜索爬虫的名称及对应的网站。