2015年4月21日
配置Nutch模拟浏览器以绕过反爬虫限制
摘要： 原文链接：http://yangshangchuan.iteye.com/blog/2030741当我们配置Nutch抓取 http://yangshangchuan.iteye.com的时候，抓取的所有页面内容均为：您的访问请求被拒绝 ...... 这是最简单的反爬虫策略（该策略简单地读取HTTP... 阅读全文
posted @ 2015-04-21 11:06 HuijunZhang 阅读(510) 评论(0) 推荐(0) 编辑
Nutch的发展历程
摘要： Nutch的创始人是Doug Cutting，他同时也是Lucene、Hadoop和Avro开源项目的创始人下面是Nutch的发展历程：2002年8月由Doug Cutting发起，托管于Sourceforge，之后发布了0.4、0.5、0.6三个版本2004年9月Oregon State Univ... 阅读全文
posted @ 2015-04-21 11:04 HuijunZhang 阅读(482) 评论(0) 推荐(0) 编辑
中国