网站禁用爬虫

文件名：robots.txt

内容：

User-agent: *
Disallow: /

放置位置：网站根目录。