robots 攻防世界进阶

这道题怎么讲呢

就差那么一点

。。。。。。

 

正题，robots协议的知识知道，这个协议是规定了那些自己网页的内容能够访问，哪些不能够访问，由于题目是给了一个藏有flag的环境，所以它一定藏在不能够放轻易访问的地方，也就是disallow对应的端口，接下来就是想办法改一下它的robots协议，首先在url后面加上/robots.txt再运行一下，就得到了响应的页面，知道了,disallow的端口，flag就直接藏在了disallow的端口里面，。。。直接建立端口连接在运行一下就得到flag了，在url后面加上/端口，要去掉之前输入的协议。

1、User-agent： *

一般博客的robots.txt指令设置都是面对所有spider程序，用通配符“*”即可。如果有独立User-agent的指令规则，尽量放在通配“*”User agent规则的上方。

2、Disallow： /wp-admin/

Disallow： /wp-content/

Disallow： /wp-includes/

屏蔽spider捉取程序文件，同时也节约了搜索引擎蜘蛛资源。

3、Disallow： /*/trackback

每个默认的文章页面代码里，都有一段trackback的链接，如果不屏蔽让蜘蛛去捉取，网站会出现重复页面内容问题。

4、Disallow： /feed

Disallow： /*/feed

Disallow： /comments/feed

 

这些是一些格式，可以参考一下，

7、Disallow： /*.jpg$      ！！！！！！！！！！！！！！

Disallow： /*.jpeg$     ！！！！！！！！！！！！！！！！个人觉得这个可以背一下。

Disallow： /*.gif$

Disallow： /*.png$

Disallow： /*.bmp$

屏蔽捉取任何图片文件，在这里主要是想节约点宽带，不同的网站管理员可以按照喜好和需要设置这几条指令。

 

至于改协议的事情，，，，对不起，请当我没说过。。。。