2013年2月18日
HDFS多文件Join操作
摘要： 最近在用Java做HDFS文件处理之时，遇到了多文件Join操作，其中包括：All Join以及常用的Left Join操作，下面是个简单的例子；采用两个表来做left join其中数据结构如下：A 文件：a|1... 阅读全文
posted @ 2013-02-18 23:21 vtopqx 阅读(8) 评论(0) 推荐(0)
Hadoop多Job并行处理
摘要： 有关Hadoop多Job任务并行处理，经过测试，配置如下：首先做如下配置：1、修改mapred-site.xml添加调度器配置： mapred.jobtracker.taskScheduler org.apa... 阅读全文
posted @ 2013-02-18 22:55 vtopqx 阅读(14) 评论(0) 推荐(0)