摘要：1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 2.请详细阐述Spark的几个主要概念及相互关系： Master, Worker; RDD,DAG; Application, job,stage,task; driver,execu 阅读全文

摘要：一、安装Spark 1. 检查基础环境hadoop,jdk 未配置好hadoop，去~/.bashrc添加环境变量 export PATH=$PATH:$HADOOP_HOME/sbin 2. 环境变量 添加spark环境变量 export SPARK_HOME=/usr/local/spark e 阅读全文

摘要：1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 HDFS（hadoop分布式文件系统） 是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。 mapreduce（分布式计算框架） 是一种计算模型，用于处理大数据量的计 阅读全文