2021年3月12日
02 Spark架构与运行流程
摘要： 1. 为什么要引入Yarn和Spark。 从开源角度看，YARN的提出，从一定程度上弱化了多计算框架的优劣之争。YARN是在Hadoop MapReduce基础上演化而来的，在MapReduce时代，很多人批评MapReduce不适合迭代计算和流失计算，于是出现了Spark和Storm等计算框架，而 阅读全文
posted @ 2021-03-12 17:49 兔子* 阅读(86) 评论(0) 推荐(0)
2021年3月1日
大数据概述
摘要： 1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 简单地说，Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBa 阅读全文
posted @ 2021-03-01 18:04 兔子* 阅读(90) 评论(0) 推荐(0)