2019年2月19日
《深入理解Spark-核心思想与源码分析》（六）第六章计算引擎
摘要： RDD是Spark对各类数据计算模型的统一抽象，被用于迭代计算过程以及任务输出结果的缓存读写。 在所有MapReduce框架中，shuffle是连接map任务和reduce任务的桥梁。shuffle性能优劣直接决定了 整个计算引擎的性能和吞吐量。 6.1 迭代计算 MappedRDD的iterato 阅读全文
posted @ 2019-02-19 17:54 Mars、少年 阅读(343) 评论(0) 推荐(0) 编辑