淘宝讨厌百度
摘要：
今天看了一文章说是淘宝网禁止百度蜘蛛,也看了它的截图,心想不会这这么回事吧,我就来来淘宝网,来看下它的robots.txt,果然不假,真的截图一样,就是禁止了百度蜘蛛一爬行,从下面robots.txt中我们可以看到: User-agent: Baiduspider Disallow: / User-agent: baiduspider Disallow: / 代表是什么意思你也知道,这就很有意思了... 阅读全文
posted @ 2008-09-05 15:56 M 阅读(387) 评论(1) 推荐(0)
浙公网安备 33010602011771号