2015年2月1日
在Prefetcher中取消robots.txt的限制
摘要： Robots.txt是一种专门用于搜索引擎网络爬虫的文件，当构造一个网站时，如果作者希望该网站的内容被搜索引擎收录，就可以在网站中创建一个纯文本文件robots.txt，在这个文件中，声明该网站不想被robot访问的部分。这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收... 阅读全文
posted @ 2015-02-01 13:47 HuijunZhang 阅读(1349) 评论(0) 推荐(0) 编辑
中国