robots.txt屏蔽目录后带不带斜杠有什么区别？

附：http://www.zhushuiwen.com/zhidao/2514 //找到一个很好的seo问答平台

 

冒号后面需要加空格 例如： Disallow: /2014

----

Disallow: /a/这个是屏蔽了a这个文件夹里的所有内容。
Disallow: /a 这个是屏蔽了所有以a开头的所有文件，能一样吗？
想屏蔽/a/2012/和 /b/2012/ 和/c/2012/要怎么写?
Disallow: /a/2012/
Disallow: /b/2012/
Disallow: /c/2012/
这样就可以了。

转：http://www.seowhy.com/bbs/thread-2320147-1-1.html

 

(2)：“/”斜杠的应用案例

　　User-agent: *

　　Allow: /cgi-bin/

　　Disallow: /cgi-bin

　　上面是笔者随意想到的，可以在这里解释一下斜杠的使用，在上述的简答语句之中，第二行和第三行，一个有“/”，一个没有，其中在allow语句之中，因为有“/”存在，所以允许蜘蛛可以爬取文件夹“cgi-bin”下的网站文件，而不能控制蜘蛛是否爬取这个文件夹，也就是说“/”控制文件夹下的文件，不控制文件夹本身，所以在第三行中，笔者通过disallow控制不让蜘蛛爬行“cgi-bin”文件夹，但是不能控制第二条语句中的权限，仅仅可以控制蜘蛛爬取文件夹，所以最终，蜘蛛只能爬取“cgi-bin”文件夹的文件，不能爬取“cgi-bin”这个目录。

转：http://www.admin5.com/article/20120827/455459.shtml

 

如何设置robots.txt文件 全文：http://jingyan.baidu.com/article/90bc8fc818c7c6f652640c59.html