Spark 2.x管理与开发-Spark Streaming-性能优化（六）Shuffle
Posted on 2020-08-11 12:08 MissRong 阅读(139) 评论(0) 收藏 举报Spark 2.x管理与开发-Spark Streaming-性能优化（六）Shuffle
注意：Spark２.ｘ中，shuffle调优官方已经完成，在Spark１.ｘ中，会有此问题
中间产生的文件个数：就是CPU的核数＊ReduceTask的数量
注意：Spark２.ｘ中，shuffle调优官方已经完成，在Spark１.ｘ中，会有此问题
中间产生的文件个数：就是CPU的核数＊ReduceTask的数量
浙公网安备 33010602011771号