摘要：昨天同事问我如何判断一个请求是否为搜索引擎，我的回答是通过UserAgent字符串自己去判断，而他告诉我.net提供了Crawler属性。我还真没有使用过这个属性，但是我第一反应是微软做的这东西怎么可能把所有搜索引擎都能判断出来呢？这是不可能的阿，至少据我所知网络中还有很多“特殊的搜索引擎”比如说Email的爬虫。我想研究一下什么样特征的搜索引擎能够让Crawler属性为真。 阅读全文