竹木人

----------------隐感存理，去伪存真，做个安分的守候者
  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

2011年8月17日

SEO之robots.txt语义解释
摘要： 1、robots是一个必须放置在网站根目录下，告诉蜘蛛那些目录可以爬行，那些不能爬行的一个文件，全称是"robots.txt".2、如何写robots： ①禁止所有SE抓去目录： User-Agent:*Disallow:/目录1/Disallow:/目录2/Disallow:/目录3/ ②禁止某个搜索引擎抓去站点： User-agent:Baiduspider Disallow:/ ③直接指定网站地图： Sitemap:http://domain/mapsite.xmlTo be continue......... 阅读全文
posted @ 2011-08-17 22:55 竹木人 阅读(227) 评论(0) 推荐(0)