2009年11月9日
搜索引擎spider整理
摘要： 百度百度的spider的user agent都会包含Baiduspider 字符串。相关资料：http://www.baidu.com/search/spider.htmgooglegoogle的spider的user agent都会包含 Googlebot 字符串。相关资料：http://www.google.com/bot.htmlsosososo的spider的user agent都会包含S... 阅读全文
posted @ 2009-11-09 17:07 rethink 阅读(446) 评论(0) 推荐(0) 编辑