2010年4月16日
摘要: http://www.dotnetdotcom.org/今天在检查iis日志的时候发觉这个爬虫抓取我的博客频道的频率一天竟然高达 1000次!所以搜索了它,发觉了这么好玩的一个东西。他是一群来自西雅图的人试图如何让互联网的数据更加公开。他们提供了互联网的一个索引(可以BT下载),重达3.2G,非压缩版14G,如果你正要准备做一个垃圾引擎,可以尝试下载下来用用。当然你也可以屏蔽这个搜索引擎,User... 阅读全文
posted @ 2010-04-16 13:55 Keep Walking 阅读(495) 评论(0) 推荐(0) 编辑