摘要: 1. Chaining MapReduce Jobs任务链2. Join data from different data source<1>. Changing MapReduce jobs1.1Chaining MapReduce jobs in a sequenceMapReduce程序能够执行一些复杂数据处理的工作,通常的情况下,需要将这个任务task分割成多个较小的subtask,然后每个subtask通过hadoop中的job运行完成,然后教案subtask的结果收集起来,完成这个复杂的task。最简单的就是“顺序”执行了。编程模型也比较简单。我们知道在MapReduc 阅读全文
posted @ 2011-06-05 19:25 qiang.xu 阅读(7768) 评论(3) 推荐(2) 编辑
摘要: 1.WordCount示例及MapReduce程序框架2. MapReduce程序执行流程3. 深入学习MapReduce编程(1)4. 参考资料及代码下载<1>. WordCount示例及MapReduce程序框架首先通过一个简单的程序来实际运行一个MapReduce程序,然后通过这个程序我们来哦那个结一下MapReduce编程模型。下载源程序:/Files/xuqiang/WordCount.rar,将该程序打包成wordcount.jar下面的命令,随便写一个文本文件,这里是WordCountMrtrial,并上传到hdfs上,这里的路径是/tmp/WordCountMrtr 阅读全文
posted @ 2011-06-05 10:19 qiang.xu 阅读(21780) 评论(6) 推荐(5) 编辑