摘要: 写mapreduce程序时,如果reduce个数>1,想要实现全排序需要控制好map的输出,详见Hadoop简单实现全排序。 现在学了hive,写sql大家都很熟悉,如果一个order by解决了全排序还用那么麻烦写mapreduce函数吗? 事实上,hive使用order by会默认设置reduc 阅读全文
posted @ 2019-08-16 15:55 我得去图书馆了 阅读(3350) 评论(0) 推荐(0) 编辑
摘要: 理解分组,可以这样:对GROUP BY子句后面跟随的列名进行分组,然后对每一个分组而不是整个表进行操作。 举例:在产品表中,检索每一个供应商提供的商品的数量。 结果:+ + +| vend_id | num_prods |+ + +| 1001 | 3 || 1002 | 2 || 1003 | 7 阅读全文
posted @ 2019-08-16 14:41 我得去图书馆了 阅读(2036) 评论(0) 推荐(0) 编辑