摘要： 原文地址：http://javascriptkit.com/howto/robots2.shtml如果你的网站供应商禁止你上传robots.txt文件到根目录，或者你仅仅是希望部分定制搜索爬虫对于你网站上的一些页面的动作，有一个可以代替robot.txt的方法，那就是使用robots的meta标签。创建你的机器人meta标志其实，机器人的meta标志和其他的meta标志没有什么两样，... 阅读全文