没有Reduce的MapReduce(一)

尝试了一个没有Reduce的MapReduce。

 

【应用场景】:

从Hbase的A表中进行数据抽样,直接输出到B表中。

这种场景下,相当于只进行了一个数据检索,本来是用Hive就可以实现,但是考虑到业务上的复杂性,使用了只有Map的一个Job。

相当于一个SQL文的Select语句的感觉。

 

【Job设置】

在设置MapReduce的Job的时候,需要注意以下几点:

①、下图中第7行需要指定输出Hbase的表名。

②、下图17行中设置Reduce数为0。

③、下图19行中设置输出为Table。

④、下图25行中指定使用Put来插入数据,同时Mapper的输出参数必须与下图中initTableMapperJob的类型匹配。

 

参考代码:https://github.com/quchunhui/qchtest/blob/master/src/main/java/qch/save/DrawnSample.java.bak

posted @ 2016-05-05 19:55  大墨垂杨  阅读(2035)  评论(0)    收藏  举报