Mediapartners-Google，Adsbot-Google是什么？如何禁止？

看了这篇文章，才发现谷歌蜘蛛种类繁多，百度应该也不例外。出处：http://jz.53000.com.cn/xwdt/seo/178.html

 

今天，检查网站日志的时候发现有一个这样的蜘蛛：Mediapartners-Google，我很不解是干嘛的，不过当然是Google的了。通过Google，我了解到它和Adsense广告有一些关系

 

　　Googlebot 我们一般称为Google 机器人或Google 探测器。

 

　　Google “派遣”了不同的Googlebot 对网页内容进行获取。主要包括：

 

　　Googlebot：抓取网页中的文字内容。获取的内容保存于Google 网页搜索和新闻搜索的数据库。我们一般谈的Google 机器人主要指这个。

 

　　Googlebot-Mobile：抓取网页中的文字内容，用于Google 手机搜索。

 

　　Googlebot-Image：抓取网页内的图片内容，保存入Google 图片搜索数据库。

 

　　Mediapartners-Google：抓取网页中的文字内容，用于Google Adsense 分析关键词。只有投放了Google Adsense 的网页才会被 Mediapartners-Google 探测器爬取。

 

　　Adsbot-Google：抓取网页中的文字内容，用于为Google AdWords 提供参考。只有Google AdWords  的目标网页才会被 Adsbot-Google 探测器爬取。

 

　　Googlebot 和Mediapartners-Google 是非常勤奋的机器人，如果他们影响到你服务器的承受力，你可以通过 robots.txt 文件加以制止。