作业二

1.了解对比Hadoop不同版本的特性，可以用图表的形式呈现

Apache hadoop 的2.0版本：hadoop通用模块，支持其他hadoop模块的通用工具集；Hadoop分布式文件系统，支持对应数据高吞吐量访问的分布式文件系统；用于作业调度和集群资源管理的Hadoop YANRN框架；Hadoop MapReduce，基于YARN的大数据并行处理系统。

Cloudera hadoop：Cloudera版本:层次更加清晰，且它提供了适用于各种操作系统的Hadoop安装包，可直接使用apt-get或者yum命令进行安装，更加省事。

Hortonworks：Hortonworks 的主打产品是Hortonworks Data Platform (HDP)，也同样是100%开源的产品，HDP除了常见的项目外还包含了Ambari，一款开源的安装和管理系统。HCatalog，一个元数据管理系统，HCatalog现已集成到Facebook 开源的Hive中。Hortonworks的Stinger开创性地极大地优化了Hive项目。Hortonworks为入门提供了一个非常好的，易于使用的沙盒。Hortonworks开发了很多增强特性并提交至核心主干，这使得Apache Hadoop能够在包括Windows Server和Windows Azure在内的Microsoft Windows平台上本地运行。

DKhadoop发行版：有效的集成了整个HADOOP生态系统的全部组件，并深度优化，重新编译为一个完整的更高性能的大数据通用计算平台，实现了各部件的有机协调。因此DKH相比开源的大数据平台，在计算性能上有了高达5倍（最大）的性能提升。DKhadoop将复杂的大数据集群配置简化至三种节点（主节点、管理节点、计算节点），极大的简化了集群的管理运维，增强了集群的高可用性、高可维护性、高稳定性。

cloudera发行版：CDH是Cloudera的hadoop发行版，完全开源，比Apache hadoop在兼容性，安全性，稳定性上有增强。Cloudera Manager是集群的软件分发及管理监控平台，可以在几个小时内部署好一个hadoop集群，并对集群的节点及服务进行实时监控。Cloudera Support即是对hadoop的技术支持。

hortonworks发行版：Hortonworks 的主打产品是Hortonworks Data Platform (HDP)，也同样是100%开源的产品，其版本特点：HDP包括稳定版本的Apache Hadoop的所有关键组件；安装方便，HDP包括一个现代化的，直观的用户界面的安装和配置工具。

MAPR发行版：mapR有免费和商业两个版本，免费版本在功能上有所减少。mapR版本不再需要单独的namenode机器，元数据分散在集群中，也类似数据默认存储三份。也不再需要用NAS来协助namenode做元数据备份，提供了机器使用率。

华为hadoop发行版：华为的hadoop版本基于自研的Hadoop HA平台，构建NameNode、JobTracker、HiveServer的HA功能，进程故障后系统自动Failover，无需人工干预，这个也是对hadoop的小修补，远不如mapR解决的彻底。

2.Hadoop生态的组成、每个组件的作用、组件之间的相互关系

Hadoop：Java编写的软件框架，以支持数据密集型分布式应用

ZooKeeper：高可靠性分布式协调系统

MapReduce：针对大数据的灵活的并行数据处理框架

HDFS：Hadoop分布式文件系统

Oozie：负责MapReduce作业调度

HBase：Key-value数据库

Hive：构建在MapRudece之上的数据仓库软件包

Pig：Pig是架构在Hadoop之上的高级数据处理层。Pig Latin语言为编程人员提供了更直观的定制数据流的方法。

3.官网学习Hadoop的安装与使用，用文档的方式列出步骤与注意事项。
http://www.apache.org/

→Projects

→Projects List

→Hadoop

 

一.hadoop安装及注意事项

 

1. 安装hadoop的环境，必须在你的系统中有java的环境。
   2.必须安装ssh，有的系统默认就安装，如果没有安装需要手动安装。
       可以用yum install -y ssh 或者 rpm -ivh ssh的rpm包进行安装

 

二.安装并配置java环境

 

1.hadoop需要在java的环境中运行，需要安装JDK。
在官网上下载jdk，网址：http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html
   a.进入选择相应的rpm包或者tar包，进行安装。我这里是下载的rpm包，因为这样比较方便。用rpm包不需要进行环境变量的配置就可以使用了。
    # rpm -ivh /usr/java/jdk1.8.0_60.rpm
   b.检查java环境是否安装成功

 

三.下载并安装hadoop

 

1.进入hadoop的官网进行下载相应hadoop的版本。地址为：http://hadoop.apache.org/releases.html
a.下载相应的tar包

 

b.进行tar解包
        # tar -ivh /usr/local/hadoop/hadoop-2.7.1.tar.gz
    c.修改相应的配置文件信息，制定相应的java_home
        #vi /usr/local/hadoop/hadoop-2.7.1/ etc/hadoop/hadoop-env.sh
     # set to the root of your Java installation
        export JAVA_HOME=/usr/java/latest    #显示当前jdk安装的目录  一般rpm是安装在 usr 目录下
    d.配置hadoop的环境变量（使hadoop的命令加到path中，就可以使用hadoop的相关命令）
        1.编辑/etc/profile文件，在文件的后面加上如下代码：
        HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.1
        PATH=$HADOOP_HOME\bin:$PATH
        export HADOOP_HOME PATH
        2.使修改的文件生效
        source /etc/profile
这样就可以进入hadoop的安装目录去进行相关的命令操作了！

4. 评估华为hadoop发行版本的特点与可用性。

https://support.huawei.com/enterprise/zh/cloud-computing/fusioninsight-hd-pid-21110924/

https://support.huawei.com/hedex/hdx.do?docid=EDOC1100094387&lang=zh&idPath=22658044%7C7919788%7C9856606%7C21110924

华为在硬件上具有天然的优势，在网络、虚拟化、PC等方面都有很强的硬件实力。华为的Hadoop版本基于自主研发的Hadoop HA平台，具有构建NameNode、JobTracker、HiveServer的HA功能，进程故障后系统自动进行Failover，无须人工干预，这也是对Hadoop功能不足的小修补，远不如MapR解决得彻底。华为在Hadoop社区中的Contributor和Committer也是国内最多的，算是国内技术实力较强的公司。