快速编写robots.txt的制作方法

        SEO优化的人都知道，编写roots.txt，在网络优化中也是一个优化环节，经过一段时间的学习，总结了如何快速编写roots.tex.现在就分享给大家。

现在解释一下什么是robots.txt：
搜索引擎会使用spider程序自动访问网站并获取网页信息。spider在访问一个网站时，会先查找网站根目录下的robots.txt的纯文本文件是否
存在。
你的网站中可以创建一个纯文本文件robots.txt，在文本中标明网站不想被robot访问的部分或者要求搜索引擎只收录的部分。
如果你的网站不想让搜索引擎全部收录时，才要用到robots.txt，如果希望全部收录，就可以直接建个空的robots.txt文档。（最好还是用上
，因为后台最好不要收录）
1。robots.txt文件必须放到网站的根目录下。如果修改了robots.txt，则需要48小时才能够生效你所修改的部份。
2。如果要禁止搜索引擎在收录网站时显示快照，而只需要做到索引功能，就可以用这些办法？
   百度可以支持通过设置网页的meta，禁止搜索引擎在收录网站时显示快照。方法如下：
   要防止所有禁止搜索引擎在收录网站时显示快照，请将此元标记置入网页的 <HEAD> 部分：
   <meta name="robots" content="noarchive">
   要允许其他搜索引擎显示快照，但仅防止百度显示，请使用以下标记：
   <meta name="baiduspider" content="noarchive">
   注：此标记只是禁止百度显示该网页的快照，百度会继续为网页建索引，并在搜索结果中显示网页摘要。
3。如何写robots.txt呢,格式都是怎么样的呢？
   robots.txt是以 User-agent: 作为文本记录开头的。这个值是来描述搜索引擎robots的名字。
   如果针对百度搜索引擎，格式主为 User-agent: baiduspider
   针对谷歌就是 User-agent:googlespider
   如果针对所有搜索引擎，只需写上User-agent: *就OK。
robots.txt 除了第一项 User-agent: 还有其他两项 Disallow:   Allow: 但是User-agent: 是唯一项 他后面可以加若干Disallow和Allow行
也就是这种格式
User-agent: *
Disallow:
Disallow:
Disallow:
Allow:
Allow:
Allow:  
这里的Disallow是告诉搜索引擎不希望被收录的网址。你就可以用Disallow的描述来限制搜索引擎
举个例子，如果不想收录我的后台admin，就可以直接写上：
User-agent:  *
Disallow: /admin/
就可以了

只针对百度不要收录我的这个目录其实搜索引擎可以写上
User-agent:  baiduspider
Disallow: /admin/
如果想知道更多的快速编写robots.txt的制作方法，请登录http://www.bjxzg.cn/.

posted @ 2011-05-17 11:18  阿豹  阅读(410)  评论(0)  编辑  收藏  举报
www.bjxzg.cn