摘要:
转载总结: 方式一:创建一个robots.txt文本文件,然后在文档内设置好代码,告诉搜索引擎我网站的哪些文件你不能访问。然后上传到网站根目录下面,因为当搜索引擎蜘蛛在索引一个网站时,会先爬行查看网站根目录下是否有robots.txt文件。#摘自京东cat<<EOF>robots.txtUser-a 阅读全文
posted @ 2019-09-03 22:09 hrers 阅读(958) 评论(0) 推荐(0)
posted @ 2019-09-03 22:09 hrers 阅读(958) 评论(0) 推荐(0)