Training-WWW-Robots

这里开始认真学web了。想从新版攻防世界刷题开始。
这题还是很简单的，要知道以一个文本协议，也就是题目中的robots.txt。

这个百度百科的解释
其实就是一个门牌号一样的东西，告诉爬虫该不该进入这个url里面的东西是不是可以抓取。
这个其实也不用太关心，进入一下这个ROBOTS.TXT就好了

发现了这里面有个.php看一下。

发现flag就在里面了