百度抓取趁断 ip地址异常 已反馈,预计几分钟内完成更新

原来是 robots 文件写法出错了。

正确方法:

我用了下面的代码保存为robots.txt 上传至空间根目录,之后登录百度站长工具后台更新robots,然后用“抓取诊断”,很快点抓取成功了,可以看到我网站的源码。IP地址也显示正常了~~~~

User-agent: Googlebot
Disallow: /
User-agent: googlebot-mobile
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: Slurp
Disallow: /
User-agent: Teoma
Disallow: /
User-agent: twiceler
Disallow: /
User-agent: Gigabot
Disallow: /
User-agent: Scrubby
Disallow: /
User-agent: Robozilla
Disallow: /
User-agent: Nutch
Disallow: /
User-agent: naverbot
Disallow: /
User-agent: yeti
Disallow: /
User-agent: yahoo-mmcrawler
Disallow: /
User-agent: asterias
Disallow: /
User-agent: yahoo-blogs/v3.9
Disallow: /
User-agent: *
Disallow:

 

#注意了:不要手贱啊,不要加空行,

#User-agent: *
#Allow: /

#上面这个写法,百度不接受的

必须是如下:

#User-agent: *
#Disallow:

posted @ 2017-01-17 11:02  stma  阅读(1218)  评论(0)    收藏  举报