2021年3月12日
02 Spark架构与运行流程
摘要： 一、简述Spark生态系统。 答：Spark 生态系统以Spark Core 为核心，能够读取传统文件（如文本文件）、HDFS、Amazon S3、Alluxio 和NoSQL 等数据源，利用Standalone、YARN 和Mesos 等资源调度管理，完成应用程序分析与处理。这些应用程序来自Spa 阅读全文
posted @ 2021-03-12 17:31 Jay杰 阅读(134) 评论(0) 推荐(0)
2021年3月1日
大数据概述
摘要： 一.用图表描述Hadoop生态系统的各个组件及其关系。 二、阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 1、HDFS（Hadoop分布式文件系统） 是Hadoop体系中 数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障 阅读全文
posted @ 2021-03-01 17:50 Jay杰 阅读(100) 评论(0) 推荐(0)