2006-09-25 17:38 by cppguy, 579 visits, 网摘, 收藏, 编辑
摘要：Hadoop 是 Google labs 的MapReduce的一个实现，Nutch项目的全部数据处理都构建在其之上。MapReduce是一种简化的分布式编程模式，让程序可以自动在普通机器组成的集群中以并行方式分布执行。 就如同java程序员可以不考虑内存泄露一样，MapReduce程序员也不许要关心海量数据如何被分配到多台机器上，不需要考虑机器失效的处理，不需要考虑这些机器间如何协作共同完成工作...
阅读全文
2006-09-14 01:00 by cppguy, 1842 visits, 网摘, 收藏, 编辑
摘要：1：在Windows下调用nutch的脚本，可实现自动运行，这样做可以不用crywin来模拟linux,下面式win xp调用nutch的脚本nutch.bat@cmd /V:on /c %~dp0nutch1.bat %* nutch1.bat@echo onrem ****************************************************************...
阅读全文
2006-09-14 00:03 by cppguy, 112 visits, 网摘, 收藏, 编辑
摘要：IronPython是Pyhon在.NET环境下新的实现
阅读全文
2006-09-07 12:33 by cppguy, 318 visits, 网摘, 收藏, 编辑
摘要：plugin(插件)为nutch提供了一些功能强大的部件，举个例子，HtmlParser就是使用比较普遍的用来分析nutch抓取的html文件的插件。 为什么nutch要使用这样的plugin系统? 有三个原因：1：可扩展性 通过plugin，nutch允许任何人扩展它的功能，而我们要做的只是对给定的接口做简单的实现，举个例子：MSWordParser这个插件是用来分析wordwendang的，它...
阅读全文
2006-09-05 01:41 by cppguy, 135 visits, 网摘, 收藏, 编辑
摘要：怎样向Nutch中添加筛取Http流的正则表达式的业务逻辑？你应该写一个新的plugin，使用src/plugin/creativecommons作为模版创建适用自己的pluginYou can start from here.. http://wiki.apache.org/nutch/ About writing plugin http://wiki.apache.org/nutch/Plug...
阅读全文