2019年12月26日

Spark的二次排序以及aggregate

摘要: 一、二次排序 (1)输入与输出 (2)需求:数据如file1.txt,要求根据第一列降序,如果第一列相等,则根据第二列升序 分析:平时所使用的键值对是不具有比较意义的,也就说他们没法拿来直接比较,可以通过sortByKey,sortBy(pair._2)来进行单列的排序,但是没法进行两列的同时排序。 阅读全文

posted @ 2019-12-26 10:01 hdc520 阅读(449) 评论(0) 推荐(0) 编辑

导航