摘要：
在百度C2C产品“百度有啊”即将上线的时候，淘宝网站曾经屏蔽百度搜索爬虫，禁止百度搜索引擎抓取淘宝网站的网页内容，淘宝官方的解释是“杜绝不良商家欺诈”。 在技术层面，淘宝屏蔽百度的方法是，在网站的robots.txt文件中加上如下内容：User-agent: Baiduspider Disallow: / 但实际上这种方法并不能完全屏蔽百度的爬虫... 阅读全文
posted @ 2009-05-13 15:48
实验室
阅读(821)
评论(0)
推荐(0)
浙公网安备 33010602011771号