摘要: 原文链接: https://0x0fff.com/spark-architecture-shuffle 如上图所示,橙色箭头表示shuffle阶段,箭头的起始端称为mapper端,箭头结束端称为reducer。 在Spark中,有多种shuffle的实现,它取决于参数spark.shuffle.ma 阅读全文
posted @ 2021-07-19 13:53 ralgo 阅读(144) 评论(0) 推荐(0)