如何控制搜索引擎访问和索引你的网站?
精细控制
除了robots.txt文件让您为你的一大堆文件简洁明了给出指令外,你也可以利用robots META 标签来精确控制对你的单个网页的访问。为了做到这一点,你只需要对你的HTML网页添加特定的META标签来控制怎样对单个网页索引。归而总之, robots.txt和META标签让你更灵活地表达复杂的访问规定变得比较容易。
一个简单的例子
这里是一个简单的例子,它是一个robots.txt文件。
User -Agent行指明下面部分的一套指令只是为Googlebot。所有主要搜索引擎都阅读并听从你放在robots.txt的指令。只要你愿意,你可以为 不同的搜索引擎指定不同的规则。Disallow行告诉Googlebot不能进入你网站的档案日志子目录。你放在日志目录中的内容将不会显示在谷歌搜索 结果中。User-Agent: Googlebot
Disallow: /logs/
禁止访问单个文件
如果你有一篇只有注册用户才能访问的文章,你一定想让它排除在谷歌的结果之外。为了做到这一点,你只需要在该文章对应的HTML文件中添加一个META标签。该文件的代码的最开始有点像:
这段代码会阻止谷歌索引此文件。标签META特别有用,如果你只被允许编辑单个文件,而不是全站的robots.txt。他们还允许你逐页地指定复杂的访问控制规定。<html>
<head>
<meta name="googlebot" content="noindex">
...
了解更多
你可以在http://www.robotstxt.org/和谷歌的站长帮助中心找到更多有关robots.txt的更多有用信息,包括:
我们也在我们的站长博客 里写了一些关于robots.txt的帖子,也许对你有用。例如:
这里还有一个主要搜索引擎使用的机器人的有用清单:http://www.robotstxt.org/wc/active/html/index.html
下次… …
即将推出:关于详述robots和metatags使用的帖子,和关于一些对常见情况的具体例子。
文章引用:Controlling how search engines access and index your website