2020年5月26日
Spark：shuffle原理
摘要： shuffle 和 stage shuffle 是划分 DAG 中 stage 的标识,同时影响 Spark 执行速度的关键步骤. RDD 的 Transformation 函数中,又分为窄依赖(narrow dependency)和宽依赖(wide dependency)的操作.窄依赖跟宽依赖的区 阅读全文
posted @ 2020-05-26 17:19 静悟生慧 阅读(806) 评论(0) 推荐(0) 编辑