2012年12月26日

很多很好的mapreduce Job的代码例子
摘要： 访问原网站：http://www.cs.bgu.ac.il/~dsp112/Data_Processing,Chain,JoinData ProcessingExamplesBased onHadoop in Action, Chuck Lam, 2010, sections 4.1-4.3Data:NBERdata sets of patentsTasksCitation list for each patent62 lines ...importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg. 阅读全文
posted @ 2012-12-26 18:38 brainworm 阅读(379) 评论(0) 推荐(0)
在windows环境下，向Hadoop集群提交Job
摘要： 学hadoop有些时日了，一直都是把写好的Job push到cluster中的一个Node上，然后再来hadoop jar XXX.jar YYY arg1 arg2一直都用这个命令来提交Job。如果我们要开发hadoop的相关APP怎么办？那应该要远程向JobTracker提交Job才对呀。既然本地的Java代码是可以读写远程HDFS的，那应该也能远程提交代码。有什么方法呢？在经过一番google之后，似乎找到了一些方法：整个过程如上图所示。准备工作：确保你的hadoop不是localhost，也就是说你的core-site.xml 等等那些文件填写的是你的真实IP，你可以从另外一台机器上访 阅读全文
posted @ 2012-12-26 13:52 brainworm 阅读(740) 评论(0) 推荐(0)

导航