摘要: 今天在使用hadoop时遇到一个需求,要将具有一定关系的若干个大表进行合并join,乍看起来比较困难。但是仔细分析了一下,还是可以比较好的解决问题的。况且在海量数据处理中,这是一个非常普遍常见的需求。因此写下来和大家分享一下。如果哪为仁兄看后有更好的办法,咱们也可以切磋一下。欢迎拍砖,哈哈。下面描述一下需求,有如下两种数据数据Akey value1 value2 value3...valuen数据Bvalue1 a1 a2 a3....anvalue2 b1 b2 b3....bn...valuen x1 x2 x3...xn目标数据key value1 a1 a2 a3...an value 阅读全文
posted @ 2012-03-01 17:13 ~大器晚成~ 阅读(8447) 评论(5) 推荐(1) 编辑