2021年3月12日

01 Spark架构与运行流程

摘要: 1. Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和MapReduce,hadoop2.0还包括YARN。 (1)HDFS集群:负责海量数据的存储。 (2)YARN集群:负责海量数据运算时的资源调度。 (3)MapReduce 阅读全文

posted @ 2021-03-12 15:51 拿大刀的犬夜叉 阅读(49) 评论(0) 推荐(0) 编辑

导航