DotBot是什么蜘蛛爬虫

DotBot是什么蜘蛛爬虫

DotBot是Moz的网络爬虫程序，Moz旗下链接分析网站opensiteexplorer专门用来分析网站SEO外链数据，BotBot蜘蛛爬虫就是为Moz服务，在互联网上抓取大量的网页进行各种数据分析。

如果我们不希望Dotbot抓取自己的网站，可以使用robots.txt进行评比。DotBot遵robots.txt协议。

DotBot蜘蛛爬虫原型

Moz蜘蛛爬虫UA："Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)"

网站如何禁止DotBot抓取

在我们的网站根目录中的robots.txt文件中写上如下代码：

User-Agent: AhrefsBot
Disallow: /
User-Agent: DotBot
Disallow: /
User-Agent: MJ12bot
Disallow: /
User-Agent: SemrushBot
Disallow: /

　　

robots.txt中屏蔽DotBot蜘蛛抓取网站

以上代码是屏蔽DotBot蜘蛛抓取网站所有内容。当然不一定非要屏蔽DotBot蜘蛛，根据自己网站情况来判断是否要屏蔽DotBot。