090-Spark-RDD-自定义分区器

Spark目前支持Hash分区和Range分区,和用户自定义分区。Hash分区为当前的默认分区。分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle后进入哪个分区,进而决定了Reduce的个数。

posted @ 2022-01-09 13:17  爱吃麻辣烫呀  阅读(51)  评论(0)    收藏  举报