摘要： 二、Hadoop部署 2.1 Hadoop安装（三台机器可同步进行） 下载hadoop2.7.7（hadoop-2.7.7.tar.gz） 解压 tar -zxvf hadoop-2.7.7.tar.gz ，并在主目录下创建tmp、dfs、dfs/name、dfs/node、dfs/data cd 阅读全文

摘要： 一、 两者的各方面比较 二、Spark相对Hadoop的优越性 三、三大分布式计算系统 Spark，是分布式计算平台，是一个用scala语言编写的计算框架，基于内存的快速、通用、可扩展的大数据分析引擎 Hadoop，是分布式管理、存储、计算的生态系统；包括HDFS（存储）、MapReduce（计算） 阅读全文

摘要： Hadoop是目前应用最为广泛的分布式大数据处理框架，其具备可靠、高效、可伸缩等特点 Hadoop的核心组件是HDFS、MapReduce。随着处理任务不同，各种组件相继出现，丰富Hadoop生态圈，目前生态圈结构大致如图所示： 1、HDFS（分布式文件系统） HDFS是整个hadoop体系的基础 阅读全文