CTF-攻防世界-Web-新02-robots

题目描述：

　　X老师上课讲了Robots协议，小宁同学却上课打了瞌睡，赶紧来教教小宁Robots协议是什么吧。

考察内容：

　　考察Robots协议，一般放于网站根目录，文件名为robots.txt