摘要：
SortShuffleManager的运行机制主要分成两种，一种是普通运行机制，另一种是bypass运行机制。当shuffle write task的数量小于等于spark.shuffle.sort.bypassMergeThreshold参数的值时(默认为200)，就会启用bypass机制。 （1 阅读全文
posted @ 2024-01-21 18:43
椰糖
阅读(11)
评论(0)
推荐(0)
|
摘要：
SortShuffleManager的运行机制主要分成两种，一种是普通运行机制，另一种是bypass运行机制。当shuffle write task的数量小于等于spark.shuffle.sort.bypassMergeThreshold参数的值时(默认为200)，就会启用bypass机制。 （1 阅读全文
posted @ 2024-01-21 18:43
椰糖
阅读(11)
评论(0)
推荐(0)
|
浙公网安备 33010602011771号