摘要： .net在每台机器有2500个并发访问时可能遇到CPU占用率高的情况。有一些spider访问比较频繁，如果遇到流量高峰,可以尝试暂时禁止搜索引擎访问:具体方法可以在每台Web根目录下写入robots.txt的文件写法可以参考http://www.baidu.com/search/robots.html也可以参考一些公司的robots.txt的写法:例如:www.sogou.com/robots.t... 阅读全文