Robots的写法，完整讲解。

作为SEO人Robots的写法作为必须了解的内容之一，错误的写法可能给你带来不被搜索引擎收录的恶果。

" k7 s& ?5 Y6 c3 l8 w

Robots文本中，因先写出对什么搜索引擎生效，然后是禁止抓取目录，允许抓取目录。

 

User-agent: 语句表示对什么搜索引擎的规则，如果内容是“*”，则表示对所有搜索引擎生效。

 

Baiduspider表示百度蜘蛛；

 

Googlebot 表示谷歌蜘蛛；

 

360Spider 表示360蜘蛛；

 

写了针对的蜘蛛后，就需要写具体的禁止抓取哪些目录，允许哪些目录。

 

Disallow: 表示禁止抓取后面的目录；

 

Allow: 表示允许抓取后面的目录。

 

* 是个通配符，可以代替任意内容。

. K. G5 l1 A4 g0 T6 e  ^

$ 字符指定与网址的结束字符进行匹配。

  j) K# u. ]; h, P: ^, V+ g

例如，要拦截以 .asp 结尾的网址，可使用下列条目：

 

User-Agent:*

7 V7 h8 N! m/ |5 q' Q

Disallow:/*.asp$

 

例：

2 E8 d5 E$ q0 h" d

Disallow:/admin/  禁止访问/admin/目录的内容。

5 M6 f" e8 [$ Z/ _) Z; |# f- O

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

 

Disallow: /*?* 禁止访问网站中所有包含问号(?) 的网址。

/ s5 R1 ?+ l0 b% Y) ^! O

Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。

 

Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录。

 

Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

- ^% v  ?1 O5 A3 Y0 h) @# T7 B

完整写法：

 

User-agent:*                      /**以下内容针对所有搜索引擎

' s2 _9 T2 d; G; M5 B

Diasllow:/admin/                   /**禁止访问/admin/目录的内容

5 Z# [9 `& I8 I: J: C( @  k

*****

 

Allow:/html/                                                    /**允许访问/html/目录的内容

 

*****

. s$ s+ T2 Z/ Z' |/ {

作为新手对Robots不是很明确的朋友，可以不写Robots.txt文件，以免错误的写发导致内容的不收录。

 

Robots最多的用途是屏蔽网站的后台目录，以免被收录后，被heike所利用；以及保护自己的版权资源，以免被搜索引擎收录了以后，展示在搜索结果里。

 

) P' @8 K4 D# c* m

原文地址：http://1asd.com/html/ZuiXinDongTai/416.html

搜外原创作者：vtchg

发布日期：2014年10月23日

 

转：http://www.seowhy.com/bbs/thread-16752668-1-1.html