百度抓取趁断 ip地址异常 已反馈,预计几分钟内完成更新
原来是 robots 文件写法出错了。
正确方法:
我用了下面的代码保存为robots.txt 上传至空间根目录,之后登录百度站长工具后台更新robots,然后用“抓取诊断”,很快点抓取成功了,可以看到我网站的源码。IP地址也显示正常了~~~~
User-agent: Googlebot
Disallow: /
User-agent: googlebot-mobile
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: Slurp
Disallow: /
User-agent: Teoma
Disallow: /
User-agent: twiceler
Disallow: /
User-agent: Gigabot
Disallow: /
User-agent: Scrubby
Disallow: /
User-agent: Robozilla
Disallow: /
User-agent: Nutch
Disallow: /
User-agent: naverbot
Disallow: /
User-agent: yeti
Disallow: /
User-agent: yahoo-mmcrawler
Disallow: /
User-agent: asterias
Disallow: /
User-agent: yahoo-blogs/v3.9
Disallow: /
User-agent: *
Disallow:
#注意了:不要手贱啊,不要加空行,
#User-agent: *
#Allow: /
#上面这个写法,百度不接受的
必须是如下:
#User-agent: *
#Disallow: