摘要: RDD是Spark对各类数据计算模型的统一抽象,被用于迭代计算过程以及任务输出结果的缓存读写。 在所有MapReduce框架中,shuffle是连接map任务和reduce任务的桥梁。shuffle性能优劣直接决定了 整个计算引擎的性能和吞吐量。 6.1 迭代计算 MappedRDD的iterato 阅读全文
posted @ 2019-02-19 17:54 Mars、少年 阅读(307) 评论(0) 推荐(0) 编辑