软件常识 --- robots.txt

这是web文件下一个为web爬虫比如白度提供的文件，告诉爬虫哪些页面可以爬取，哪些不能爬取，但是爬虫不一定都会遵守这个协议。我们可以通过地址加文件名称访问这个特殊的文件从而了解网站的文件结构，有时也会造成信息泄露