摘要:
新浪爱问的蜘蛛,竟然不遵循robots.txt的规定,我的robots.txt不允许任何蜘蛛访问,可是iaskspider仍然我行我素,极度气愤! 我的网站只允许Baiduspider. User-agent: BaiduspiderDisallow: User-agent: * Disallow: / [name:Hateful spider][From AlphaWu.Blog] 阅读全文
posted @ 2006-12-12 17:40
AlphaWu
阅读(242)
评论(0)
推荐(0)