google移动版针对智能手机、非智能手机的蜘蛛的User-agent

非智能手机蜘蛛的User-agent有以下两个

  • SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
  • DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

智能手机的User-agent只有一个（2014年2月更新了智能手机版）

  • Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

注意事项

请注意2014年2月的用户代理更新带来的以下重大影响：针对智能手机的新型Googlebot抓取工具将遵从Googlebot（而非Googlebot－Mobile）的robots.txt指令、robots元标记指令和HTTP header指令。例如，使用新型抓取工具后，以下robots.txt指令将屏蔽针对智能手机的新型Googlebot用户代理以及常规Googlebot执行的所有抓取操作：
User-agent: Googlebot
Disallow: /

以下robots.txt指令将屏蔽Google的功能手机抓取工具执行的抓取操作：

User-agent: Googlebot-Mobile
Disallow: /

参考资料（如不能访问，请使用代理）

  • https://developers.google.com/webmasters/smartphone-sites/googlebot-mobile?hl=zh-cn
  • http://googlewebmaster-cn.blogspot.com/2014/02/googlebot.html

posted on 2014-05-15 17:18  阿杜0409  阅读(331)  评论(0)  编辑  收藏  举报

导航