| | | |

2023年11月24日

摘要：前面有提到MapReduce 框架采用非循环式的数据流模型，把中间结果写入到 HDFS 中，带来了大量的数据复制、磁盘 IO 和序列化开销。且这些框架只能支持一些特定的计算模式(map/reduce)，并没有提供一种通用的数据抽象。因此出现了RDD这个概念。RDD(Resilient Distrib 阅读全文

posted @ 2023-11-24 22:08 zhangmingmingkjz 阅读(11) 评论(0) 推荐(0)

11.23日记

摘要： MapReduce是面向大数据并行处理的计算模型、框架和平台，它隐含了以下三层含义：（1）MapReduce是一个基于集群的高性能并行计算平台（Cluster Infrastructure）。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。（2）MapReduc 阅读全文

posted @ 2023-11-24 22:06 zhangmingmingkjz 阅读(11) 评论(0) 推荐(0)