随笔分类 -  handoop

Nutch+Hadoop集群搭建
摘要：1、Apache NutchApache Nutch是一个用于网络搜索的开源框架，它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。1.1、Nutch的组件结构WebDB:存储网页数据和连接信息Fetch lists:将WebDB所存储的连接分成多个组，来用于分布式检索Fetc... 阅读全文
posted @ 2014-04-21 15:38 风与叶子 阅读(469) 评论(0) 推荐(0)