Training-WWW-Robots

1.前言
通过标题，这是web题Robots协议简述：Robots协议，网站创建.txt文件告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，而搜索引擎则通过读取robots.txt文件来识别这个页面是否允许被抓取。
详细：https://zhuanlan.zhihu.com/p/342575122
步骤2.1
看到这里有一个“robots.txt文件名，输入到网址后面
2.2