摘要： robots.txt是一个文本文件，可以对抓取网络的搜索引擎蜘蛛进行限制，设置允许它抓取的范围、文件及目录，这是一个简单且重要的工具，下面跟大家介绍一下怎样写robots.txt文件。robots.txt必须放在网站根目录下，且文件名必须小写，下面看一个例子：# robots.txt file start# Exclude Files From All Robots:User-agent: *Di... 阅读全文