SEO之robots.txt语义解释

1、robots是一个必须放置在网站根目录下，告诉蜘蛛那些目录可以爬行，那些不能爬行的一个文件，全称是"robots.txt".

2、如何写robots：

　　①禁止所有SE抓去目录：

　　

User-Agent:*

Disallow:/目录1/
Disallow:/目录2/
Disallow:/目录3/

　　②禁止某个搜索引擎抓去站点：

　　User-agent:Baiduspider

　　Disallow:/

　　③直接指定网站地图：

　　Sitemap:http://domain/mapsite.xml

To be continue.........