摘要：其实接触nutch实际上是因为我想做一个小百合的爬取搜集讲座信息的应用，对比了常见的crawler之后，最终还是选择了nutch，具体的对比我就在这不介绍了，不过不得不说nutch做的非常好。 nutch的安装，我直接将其安装在了我用作hadoop集群的机子上，系统环境：redhat server 6.0.然后我直接装上nutch 1.2解压缩即可使用。 阅读全文

摘要：今天花了一个下午终于将整个集群的操作系统全部安装ok，在此我阐述下所有的配置。机器的配置： 我们的集群全部是dell的刀片机，每个节点内存为24GB，拥有两块1TB的硬盘，DDR3-1066MHZ.安装过程： 安装系统为redhat server 6.0版本。采用网络安装的方法，因为之前机架中的192.168.1.1的节点已经做好了源，因此后面的工作就简单很多。首先重启后按F12进入网络安装，选择对应的选项，再选择NFS directory后，NFS的地址为192.168.1.1，目录为/mnt(因为我们的install.img文件在该目录下）.即可进行安装。 后面就涉及到了磁盘分区的... 阅读全文