2018年10月9日

robots
摘要： 百度百科：robots 有更详细的介绍。 robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。 robots是站点根目录下的robots.txt文件。 文件设置内容指定蜘蛛可以访问的范围 阅读全文
posted @ 2018-10-09 10:06 荆棘人 阅读(368) 评论(0) 推荐(0)

导航