2016年10月10日
Robots.txt - 禁止爬虫（转）
摘要： Robots.txt - 禁止爬虫 robots.txt用于禁止网络爬虫访问网站指定目录。robots.txt的格式采用面向行的语法：空行、注释行（以#打头）、规则行。规则行的格式为：Field: value。常见的规则行：User-Agent、Disallow、Allow行。 User-Agent 阅读全文
posted @ 2016-10-10 11:27 sandea 阅读(9814) 评论(0) 推荐(0)