2020年3月4日
Spark RDD 分区之HashPartitioner
摘要： Spark RDD 分区 Spark RDD分区是并行计算的一个计算单元，RDD在逻辑上被分为多个分区，分区的格式决定了并行计算的粒度，任务的个数是是由最后一个RDD的 的分区数决定的。 Spark自带两中分区：HashPartitioner RangerPartitioner。一般而言初始数据是没 阅读全文
posted @ 2020-03-04 10:08 碧海潮心 阅读(2702) 评论(0) 推荐(0)