站长学习 一 Robots简单认识
摘要：
如果做一个站点，技术管理员需要保障安全，那么来认识一下Robots.txt文件。做为技术管理员，密切关注，分析站点数据日志。很重要。日志中可以看到有些搜索引擎，爬虫等来访问你的robots.txt文件，如果你的站点没有robots.txt文件，则返回404代码。 Robots.txt 是存放在站点根 阅读全文
posted @ 2019-11-11 21:20 pyman 阅读(379) 评论(0) 推荐(0) 编辑
