2011年12月6日
Robots文件究竟应该怎么写？
摘要： 分享一下网站测试的时候robots文件遇到的问题吧。 网上是可以找到一些教程的，包括写robots文件的规则。 通过百度或者google，我们可以搜索到一些相关的robots.txt文件协议或者写法相关的资料，一般会给出Disallow的用法。 阅读全文
posted @ 2011-12-06 12:54 Bobby的数据分析之路 阅读(535) 评论(0) 推荐(0)