2025年8月1日
Spark Shuffle原理
摘要： 数据分区 例如，当从本地文件系统加载一个文本文件到Spark时，文件的内容会被拆分成多个分区，这些分区会被均匀地分配给集群中的节点。可能有多个分区最终落在同一个节点上。所有这些分区的总和构成了你的RDD，这也是弹性分布式数据集中分布式一词的由来。图4.1展示了将文本文件的行加载到五节点集群中的RDD 阅读全文
posted @ 2025-08-01 00:18 vonlinee 阅读(42) 评论(0) 推荐(0)