攻防世界CTF——web新手区robots

攻防世界CTF——web新手区robots

打开环境，我们发现什么也没有，这个题目名字叫robots

 

冷知识，每个网站都会有一个robots的文本文件（txt），里面记录了网络爬虫的许可项，相当于是和你的一个协议。

它规定了哪些内容允许你用网络爬虫爬取，哪些内容不允许你用网络爬虫爬取。你现在可以在随意一个网站的主页上在地址栏里输入/robots.txt，查看这个网站上的哪些内容允许爬取.

 

 　　有了上面的知识，我们就可以在地址栏上输入/robots.txt，敲击回车就可以发现flag了

 

 ------------------------------------------------------------------------------------------------------------------------------------------------------------

本文内容仅为技术科普，请勿用于非法用途
本文内容未隐讳任何个人、群体、公司。非文学作品，请勿用于阅读理解的练习

 

....仅仅是ctf的wp，请不要用于非法用途哦