随笔分类 -  Net

解析robots.txt
摘要：案例： http://www.taobao.com/robots.txt 学习： User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符 Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录 Disallow: /require/ 这里定义是禁止爬寻r 阅读全文

posted @ 2018-06-11 13:51 echo111333 阅读(286) 评论(0) 推荐(0)

导航