spark 修改分区(存储结果需要)

修改分区就行了
val rdd1 = sc.parallelize(Array(1,2,3,4,5,6,7,8))
#  查看分区数
rdd1.partitions.length
# 改成1个分区
val rdd2 = rdd1.repartition(1)
rdd2.partitions.length

posted @ 2016-04-18 10:56  残阳飞雪  阅读(478)  评论(0)    收藏  举报