google和yahoo的网络爬虫真厉害

    在线汉语词典在前一段时间曾经被yahoo的爬虫以每天5万的次数抓取页面， 封了yahoo的好几段ip后，才解决此事。

     这2天发现google的爬虫不断的抓取页面，每天大概在3万左右， 真是厉害。

   发现了一个特点， baidu的爬虫在自动提交查询词上不如google，记得goole刚开始下载在线汉语词典的网页时， 爬虫自动递交了很多关键词来检验 英汉词典 。