2022年5月23日
Spark 源码系列 - MapPartitionsRDD & ShuffledRDD
摘要： 结论 两种方式都是包装模式，即传入对象自己，然后生成新的对象； 非shuffle类算子，每次调用创建 MapPartitionsRDD shuffle类算子，每次调用创建 ShuffledRDD 非shuffle类 val words = lines.flatMap(_.split("\\s+")) 阅读全文
posted @ 2022-05-23 22:04 608088 阅读(52) 评论(0) 推荐(0)