2018年1月5日
3.算子+PV&UV+submit提交参数+资源调度和任务调度源码分析+二次排序+分组topN+SparkShell
摘要： 1.补充算子 transformations Ø mapPartitionWithIndex 类似于mapPartitions,除此之外还会携带分区的索引值。 Ø repartition 增加或减少分区。会产生shuffle。（多个分区分到一个分区不会产生shuffle） 多用于增多分区. 底层调用 阅读全文
posted @ 2018-01-05 19:56 ACCI 阅读(284) 评论(0) 推荐(0)