摘要: 前言:作者(守望者MS)在实际搭建并开发Nutch的过程中参阅很多中文资料,但内容并不详尽且有错误,于是在此记录个人实战过程,纠正一些文章错误,以详细的过程展现一次简单的二次开发流程,为初学者降低门槛。但不能保证完全没有错误,如有发现希望大家指正。 目录: 1.Nutch1.2二次开发详细攻略(一)【图文】------Windows平台下Cygwin环境的搭建 2.Nutch1.2二次开发详细攻略...阅读全文
posted @ 2011-07-28 11:37 守望者MS 阅读(4052) 评论(11) 编辑
摘要: 前言:作者(守望者MS)在实际搭建并开发Nutch的过程中参阅很多中文资料,但内容并不详尽且有错误,于是在此记录个人实战过程,纠正一些文章错误,以详细的过程展现一次简单的二次开发流程,为初学者降低门槛。但不能保证完全没有错误,如有发现希望大家指正。 目录: 1.Nutch1.2二次开发详细攻略(一)【图文】------Windows平台下Cygwin环境的搭建 2.Nutch1.2二次开发详细攻略...阅读全文
posted @ 2011-07-27 16:32 守望者MS 阅读(3729) 评论(14) 编辑
摘要: 前言:作者(守望者MS)在实际搭建并开发Nutch的过程中参阅很多中文资料,但内容并不详尽且有错误,于是在此记录个人实战过程,纠正一些文章错误,以详细的过程展现一次简单的二次开发流程,为初学者降低门槛。但不能保证完全没有错误,如有发现希望大家指正。 目录: 1.Nutch1.2二次开发详细攻略(一)【图文】------Windows平台下Cygwin环境的搭建 2.Nutch1.2二次开发详细攻略...阅读全文
posted @ 2011-07-27 15:17 守望者MS 阅读(4460) 评论(15) 编辑
摘要: 前言:作者(守望者MS)在实际搭建并开发Nutch的过程中参阅很多中文资料,但内容并不详尽且有错误,于是在此记录个人实战过程,纠正一些文章错误,以详细的过程展现一次简单的二次开发流程,为初学者降低门槛。但不能保证完全没有错误,如有发现希望大家指正。 本文出自 “守望者MS” 博客,谢绝转载! 目录: 1.Nutch1.2二次开发详细攻略(一)【图文】------Windows平台下Cygwin环境...阅读全文
posted @ 2011-07-27 15:12 守望者MS 阅读(3260) 评论(1) 编辑
摘要: 本人由守望者MS原创问题分析:最近在研究Nutch+hadoop。在unbutu server上部署了一套正式的程序,但是由于调试起来不方便,于是在本机上(windows Server 2003)采用cygwin模拟方式搭建了一个简单的Nutch1.2测试环境。根据配置方案,在cygwin中进行到:bin/nutch crawl url.txt –dir localweb –depth 2 –topN 100 –threads 2(注:参数可根据需求改写)命令时,cygwin提示JAVA_HOME not set.这个提示信息说明了本机的JAVA SDK的环境变量没有配置。(因为之前在本机一直阅读全文
posted @ 2011-07-21 09:13 守望者MS 阅读(1441) 评论(0) 编辑
摘要: 本文由守望者MS转载并测试 Gzip压缩是在Web服务器和浏览器间传输压缩文本内容的方法。Gzip压缩采用通用的压缩算法压缩HTML、JavaScript、CSS等静态文件和asp、aspx、php、jsp等动态文件。压缩的最大好处就是降低了网络传输的数据量,从而提高客户端浏览器的访问速度。当然,同时也会增加一点点服务器的负担。通过Windows2003系统设置的方式启用Gzip的突出优点就是效率...阅读全文
posted @ 2011-07-21 08:39 守望者MS 阅读(208) 评论(0) 编辑
摘要: 分不清天黑了还是天亮了 徘徊在寂寞中 静悄悄踱着... 回忆那年的夏 暖风吹拂我们的脸庞柠檬的香味 伴着青草的羞涩 淡淡的 甜甜的 轻咬一下 变甜了那夏美妙的时光 走着,走着 迈过了岁月的步伐忽然抬头看啊天空中那带彩绸 优美 细柔 纵身一拮 散落成飘零的红叶 飞舞...阅读全文
posted @ 2011-07-16 01:32 守望者MS 阅读(73) 评论(0) 编辑
摘要: 本文由守望者MS整理1. 运行Nutch程序报错如下:Exception in thread "main" java.io.IOException: Cannot run program "chmod": CreateProcess error=2解决方法: 只需要把cygwin的bin目录加到windows的用户环境变量中就可以了,然后需要重启eclipse阅读全文
posted @ 2011-07-15 13:23 守望者MS 阅读(544) 评论(2) 编辑
摘要: 本文由守望者MS转载并整理注:全文分两部分,第一部分为英文配置方案,第二部分为中文配置方案。推荐按照英文的步骤去做,中文的少了cygwin的步骤,在以后的操作中会出现一点问题,解决方案会在另一篇文章中贴出来。第一部分This is a work in progress. If you find errors or would like to improve this page, just create an account [UserPreferences] and start editing this pageTested withNutch release 1.0Eclipse 3.3 (阅读全文
posted @ 2011-07-15 13:21 守望者MS 阅读(929) 评论(1) 编辑
摘要: 本文由守望者MS原创1.cls 清屏2.rem 注释3.echo 显示消息,回显4.@ 以行尾单位控制命令的回显方式5.title 设置命令shell的窗口的标题栏6.color 设置命令shell窗口使用的文本色和背景色 第一个数字代表背景色 第二个数字代表文件颜色7.有些字符是命令行的保留字符,包括@、《、》、&、|、^等字符。在使用这些字符的时候,需要使用转码字符^对其进行转换。例如: 2&3=5 应该为 2^&=5对例子中的变量值进行回显时,会发生一些奇怪的现象,例如看到的等式不同,或者得到出错信息,如果想要将变量值设置为包含特殊字符,同时又可以将该值向用户显示阅读全文
posted @ 2011-07-14 17:43 守望者MS 阅读(157) 评论(0) 编辑