第二次作业

1.了解对比Hadoop不同版本的特性，可以用图表的形式呈现。

（1）Apache hadoop 的2.0版本，它的模块主要有以下几个：

        1）hadoop通用模块，支持其他hadoop模块的通用工具集；

        2）Hadoop分布式文件系统，支持对应数据高吞吐量访问的分布式文件系统；

        3）用于作业调度和集群资源管理的Hadoop YANRN框架；

        4）Hadoop MapReduce，基于YARN的大数据并行处理系统。

（2）Cloudera hadoop：Cloudera版本层次更加清晰，且它提供了适用于各种操作系统的Hadoop安装包，可直接使用apt-get或者yum命令进行安装，更加省事。

（3）Hortonworks：Hortonworks 的主打产品是Hortonworks Data Platform (HDP)，也同样是100%开源的产品，HDP除了常见的项目外还包含了Ambari，一款开源的安装和管理系统。HCatalog，一个元数据管理系统，HCatalog现已集成到Facebook 开源的Hive中。Hortonworks的Stinger开创性地极大地优化了Hive项目。Hortonworks为入门提供了一个非常好的，易于使用的沙盒。Hortonworks开发了很多增强特性并提交至核心主干，这使得Apache Hadoop能够在包括Windows Server和Windows Azure在内的Microsoft Windows平台上本地运行。

2.Hadoop生态的组成、每个组件的作用、组件之间的相互关系，以图例加文字描述呈现.

 

HDFS（Hadoop分布式文件系统）：是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序。

Mapreduce（分布式计算框架）：MapReduce是一种计算模型，用以进行大数据量的计算。

Yarn（资源管理框架）：在YARN中，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager中的调度器负责资源的分配，而NodeManager则负责资源的供给和隔离。

Sqoop（数据同步工具）：Sqoop是SQL-to-Hadoop的缩写，主要用于传统数据库和Hadoop之间传输数据。

Mahout（数据挖掘算法库）：包含了聚类、分类、推荐引擎（协同过滤）和频繁集挖掘等广泛使用的数据挖掘方法。除了算法，Mahout还包含数据的输入/输出工具、与其他存储系统（如数据库、MongoDB 或Cassandra）集成等数据挖掘支持架构。

Hbase（分布式列存数据库）：HBase是一个针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库。

Zookeeper（分布式协作服务）：Zookeeper是Chubby克隆版，主要解决分布式环境下的数据管理问题：统一命名，状态同步，集群管理，配置同步等。

Pig（基于Hadoop的数据流系统）：将脚本转换为MapReduce任务在Hadoop上执行。通常用于进行离线分析。

Hive（基于Hadoop的数据仓库）：由facebook开源，最初用于解决海量结构化的日志数据统计问题。Hive定义了一种类似SQL的查询语言(HQL),将SQL转化为MapReduce任务在Hadoop上执行。通常用于离线分析。

Flume（日志收集工具）：Cloudera开源的日志收集系统，具有分布式、高可靠、高容错、易于定制和扩展的特点。

3.官网学习Hadoop的安装与使用，用文档的方式列出步骤与注意事项。

安装hadoop的环境，必须在你的系统中有java的环境

必须安装ssh，有的系统默认就安装，如果没有安装需要手动安装。
    可以用yum install -y ssh 或者 rpm -ivh ssh的rpm包进行安装

（1）网上下载jdk

（2）下载并安装hadoop

（3）执行相关的命令(常用命令。相关命令）
必须安装ssh，有的系统默认就安装，如果没有安装需要手动安装。
    可以用yum install -y ssh 或者 rpm -ivh ssh的rpm包进行安装。

 4、评估华为hadoop发行版本的特点与可用性。

 特点：（1）架构安全、认证安全、文件系统层加密

　　　  （2）可靠（所有管理节点组件均实现HA（High Availability）、集群异地灾备、数据备份恢复）

　　　  （3）易用（统一运维管理、易集成、易开发）

应用性：应用于金融领域+运营商领域