摘要: robots是搜索引擎访问你网站的第一站!这是一个协议!当你网站有这个文件时就会遵循这个协议!哪些文件需要它收录,哪些URL不需要它收录!我们应该怎么写呢?首先了解:robots的语法:1、User-agent 定义搜索引擎。一般情况下,网站里面都是:User-agent: *,这里*的意思是所有,表示定义所有的搜索引擎。比如,我想定义百度,那么就是User-agent: Baiduspider;定义google,User-agent: Googlebot。2、Disallow 禁止爬取。如,我想禁止爬取我的admin文件夹,那就是Disallow: /admin/。禁止爬取admin文件夹下 阅读全文
posted @ 2011-03-09 14:21 web_Designer 阅读(390) 评论(0) 推荐(0)
点击右上角即可分享
微信分享提示