防止搜索引擎过快访问网站的方法

.net在每台机器有2500个并发访问时可能遇到CPU占用率高的情况。
有一些spider访问比较频繁，
如果遇到流量高峰,可以尝试暂时禁止搜索引擎访问:
具体方法可以在每台Web根目录下写入robots.txt的文件
写法可以参考http://www.baidu.com/search/robots.html

也可以参考一些公司的robots.txt的写法:
例如: