2006年6月6日
google和yahoo的网络爬虫真厉害
摘要： 在线汉语词典在前一段时间曾经被yahoo的爬虫以每天5万的次数抓取页面， 封了yahoo的好几段ip后，才解决此事。 这2天发现google的爬虫不断的抓取页面，每天大概在3万左右， 真是厉害。 发现了一个特点， baidu的爬虫在自动提交查询词上不如google，记得goole刚开始下载在线汉语词典的网页时， 爬虫自动递交了很多关键词来检验 英汉词典 。 阅读全文
posted @ 2006-06-06 08:17 曾哲 阅读(1251) 评论(2) 推荐(0) 编辑