SEO系列---- 网站优化基础 (1) 如何屏蔽蜘蛛
摘要:方法一:文本 robots.txt文件应该同时包含2个域,User-agent: 和 Disallow: ,每条指令独立一行。(1)User-agent:指定允许哪些蜘蛛抓取,如果给出参数,则只有指定的蜘蛛能够抓取;如值为通配符“*”,代表允许所有蜘蛛抓取。如:User-agent:Googlebo...
阅读全文
posted @ 2015-02-12 17:30
posted @ 2015-02-12 17:30
posted @ 2015-02-12 16:03
posted @ 2015-02-12 15:42
posted @ 2015-02-12 15:33
posted @ 2015-02-12 14:55
posted @ 2015-02-12 14:32