iaskspider---a bad robot

新浪爱问的蜘蛛,竟然不遵循robots.txt的规定,我的robots.txt不允许任何蜘蛛访问,可是iaskspider仍然我行我素,极度气愤!

我的网站只允许Baiduspider.

 

User-agent: Baiduspider
Disallow: User-agent: * Disallow: /
 
[name:Hateful spider]
[From AlphaWu.Blog]
posted @ 2006-12-12 17:40  AlphaWu  阅读(233)  评论(0编辑  收藏  举报