其实接触nutch实际上是因为我想做一个小百合的爬取搜集讲座信息的应用,对比了常见的crawler之后,最终还是选择了nutch,具体的对比我就在这不介绍了,不过不得不说nutch做的非常好。
nutch的安装,我直接将其安装在了我用作hadoop集群的机子上,系统环境:redhat server 6.0.然后我直接装上nutch 1.2解压缩即可使用。