怎样写robots.txt禁止搜索引擎收录网站的一个页面？

1.User-agenet：用来定义搜索引擎。写法如：User-agent：*（或者搜索引擎的蜘蛛的名字）。
 
2.Disallow： 是禁止语法，用来定义禁止蜘蛛爬取的页面或者目录。如：Disallow：/文件夹目录/  或者是 Disallow：/文件夹名称  （表示禁止蜘蛛爬取网站的其中一个页面）
   实例：Disallow：/  禁止蜘蛛爬取网站的所有目录
        Disallow:/admin      (禁止蜘蛛爬取admin目录)
        Disallow:/login.html (禁止蜘蛛爬去login.html页面)
        Disallow:/help.html (禁止蜘蛛爬去help.html页面)
 
3.Allow:是允许语法，用来定义允许蜘蛛爬取的页面或者子目录。
     实例：Disallow:/    (禁止蜘蛛爬取网站的所有目录)
          Disallow:/admin     (禁止蜘蛛爬取admin目录)
          Allow:/admin/abc.html("/" 表示根目录下，允许蜘蛛爬去admin目录中的abc.html页面）

4.$ 和* 通配符的使用。$匹配URL结尾的字符；*匹配0个或多个任意字符。


出处：http://zhidao.baidu.com/question/371770632.html