随笔分类 - Nutch学习笔记

摘要: 前言:作者(守望者MS)在实际搭建并开发Nutch的过程中参阅很多中文资料,但内容并不详尽且有错误,于是在此记录个人实战过程,纠正一些文章错误,以详细的过程展现一次简单的二次开发流程,为初学者降低门槛。但不能保证完全没有错误,如有发现希望大家指正。 目录: 1.Nutch1.2二次开发详细攻略(一)【图文】------Windows平台下Cygwin环境的搭建 2.Nutch1.2二次开发详细攻略...阅读全文
posted @ 2011-07-28 11:37 守望者MS 阅读(4052) | 评论 (11) 编辑
摘要: 前言:作者(守望者MS)在实际搭建并开发Nutch的过程中参阅很多中文资料,但内容并不详尽且有错误,于是在此记录个人实战过程,纠正一些文章错误,以详细的过程展现一次简单的二次开发流程,为初学者降低门槛。但不能保证完全没有错误,如有发现希望大家指正。 目录: 1.Nutch1.2二次开发详细攻略(一)【图文】------Windows平台下Cygwin环境的搭建 2.Nutch1.2二次开发详细攻略...阅读全文
posted @ 2011-07-27 16:32 守望者MS 阅读(3729) | 评论 (14) 编辑
摘要: 前言:作者(守望者MS)在实际搭建并开发Nutch的过程中参阅很多中文资料,但内容并不详尽且有错误,于是在此记录个人实战过程,纠正一些文章错误,以详细的过程展现一次简单的二次开发流程,为初学者降低门槛。但不能保证完全没有错误,如有发现希望大家指正。 目录: 1.Nutch1.2二次开发详细攻略(一)【图文】------Windows平台下Cygwin环境的搭建 2.Nutch1.2二次开发详细攻略...阅读全文
posted @ 2011-07-27 15:17 守望者MS 阅读(4460) | 评论 (15) 编辑
摘要: 前言:作者(守望者MS)在实际搭建并开发Nutch的过程中参阅很多中文资料,但内容并不详尽且有错误,于是在此记录个人实战过程,纠正一些文章错误,以详细的过程展现一次简单的二次开发流程,为初学者降低门槛。但不能保证完全没有错误,如有发现希望大家指正。 本文出自 “守望者MS” 博客,谢绝转载! 目录: 1.Nutch1.2二次开发详细攻略(一)【图文】------Windows平台下Cygwin环境...阅读全文
posted @ 2011-07-27 15:12 守望者MS 阅读(3260) | 评论 (1) 编辑
摘要: 本人由守望者MS原创问题分析:最近在研究Nutch+hadoop。在unbutu server上部署了一套正式的程序,但是由于调试起来不方便,于是在本机上(windows Server 2003)采用cygwin模拟方式搭建了一个简单的Nutch1.2测试环境。根据配置方案,在cygwin中进行到:bin/nutch crawl url.txt –dir localweb –depth 2 –topN 100 –threads 2(注:参数可根据需求改写)命令时,cygwin提示JAVA_HOME not set.这个提示信息说明了本机的JAVA SDK的环境变量没有配置。(因为之前在本机一直阅读全文
posted @ 2011-07-21 09:13 守望者MS 阅读(1441) | 评论 (0) 编辑
摘要: 本文由守望者MS整理1. 运行Nutch程序报错如下:Exception in thread "main" java.io.IOException: Cannot run program "chmod": CreateProcess error=2解决方法: 只需要把cygwin的bin目录加到windows的用户环境变量中就可以了,然后需要重启eclipse阅读全文
posted @ 2011-07-15 13:23 守望者MS 阅读(544) | 评论 (2) 编辑
摘要: 本文由守望者MS转载并整理注:全文分两部分,第一部分为英文配置方案,第二部分为中文配置方案。推荐按照英文的步骤去做,中文的少了cygwin的步骤,在以后的操作中会出现一点问题,解决方案会在另一篇文章中贴出来。第一部分This is a work in progress. If you find errors or would like to improve this page, just create an account [UserPreferences] and start editing this pageTested withNutch release 1.0Eclipse 3.3 (阅读全文
posted @ 2011-07-15 13:21 守望者MS 阅读(929) | 评论 (1) 编辑