第二次作业
1.了解对比Hadoop不同版本的特性，可以用图表的形式呈现。
Hadoop有以下几种版本：
（1）Apache hadoop 的2.0版本，它的模块主要有以下几个：
1）hadoop通用模块，支持其他hadoop模块的通用工具集；
2）Hadoop分布式文件系统，支持对应数据高吞吐量访问的分布式文件系统；
3）用于作业调度和集群资源管理的Hadoop YANRN框架；
4）Hadoop MapReduce，基于YARN的大数据并行处理系统。
（2）Cloudera hadoop：Cloudera版本层次更加清晰，且它提供了适用于各种操作系统的Hadoop安装包，可直接使用apt-get或者yum命令进行安装，更加省事。
（3）Hortonworks：Hortonworks 的主打产品是Hortonworks Data Platform (HDP)，也同样是100%开源的产品，HDP除了常见的项目外还包含了Ambari，一款开源的安装和管理系统。HCatalog，一个元数据管理系统，HCatalog现已集成到Facebook 开源的Hive中。Hortonworks的Stinger开创性地极大地优化了Hive项目。Hortonworks为入门提供了一个非常好的，易于使用的沙盒。Hortonworks开发了很多增强特性并提交至核心主干，这使得Apache Hadoop能够在包括Windows Server和Windows Azure在内的Microsoft Windows平台上本地运行。
2,Hadoop生态的组成、每个组件的作用、组件之间的相互关系，以图例加文字描述呈现。
| 组件名 | 功能及作用 | 优势 | 局限 | 应用场景 | 相关功能组件 |
|---|---|---|---|---|---|
| HDFS | 分布式文件系统。存储是大数据技术的基础 | （1）高吞吐量访问； （2）高容错性； （3）容量扩充 | （1）不适合低延迟数据访问； （2）不适合存储大量小文件； （3）不支持多用户写入及任意修改文件（只能执行追加操作，写操作只能在文件末位完成） | 可处理超大文件，可运行于廉价的商用机器集群。 | hadoop文件系统包含local（支持有客户端校验和的本地文件系统）、har（构建在其他文件系统上进行归档文件的文件系统，在hadoop主要被用来减少namenode的内存使用）、kfs（cloudstroe前身是Kosmos文件系统，是类似于HDFS和Google的GFS的文件系统）、ftp（由FTP服务器支持的文件系统） |
| Mapreduce | 计算模型 | （1）被多台主机同事处理，速度快； （2）擅长处理少量大数据； （3）容错性，节点故障导致失败作业时，mapreduce计算框架会自动将作业安排到健康的节点 | （1）不适合大量小数据； （2）过于底层化，编程复杂； （3）JobTracker单点瓶颈，JobTracker负责作业的分发、管理和调度，任务量多会造成其内存和网络带宽的快速消耗，最终使其成为集群的单点瓶颈； （4）Task分配容易不均； （5）作业延迟高（TaskTracker汇报资源和运行情况，JobTracker根据其汇报情况分配作业等过程）； （6）编程框架不够灵活； （7）Map池和Reduce池区分降低了资源利用率； | 日志分析、海量数据排序、在海量数据中查找特定模式等 | 可用hive简化操作，完成简单任务 |
| Yarn | 改善MapReduce的缺陷 | （1）分散了JobTracker任务，提高了集群的扩展性和可用性； （2）扩大了MapReduce编程人员范围； （3）在资管管理器故障时，可快速重启恢复状态； （4）不再区分Map池和Reduce池，提高了资源利用率； | |||
| Hive | 数据仓库 | （1）易操作； （2）能处理不变的大规模数据级上的批量任务； （3）可扩展性（可自动适应机器数目和数据量的动态变化）； （4）可延展性（结合mapreduce和用户定义的函数库）； （5）良好的容错性； （6）低约束的数据输入格式 | （1）不提供数据排序和查询功能； （2）不提供在线事务处理； （3）不提供实时查询； （4）执行延迟 | ||
| Hbase | 数据仓库 | 数据库，存储松散型数据。向下提供存储，向上提供运算。 | （1）海量存储； （2）列式存储； （3）极易扩展（基于RegionServer上层处理能力的扩展和基于HDFS存储的扩展）； （4）高并发； （5）稀疏，列数据为空时，不会占用存储空间。 | （1）对多表关联查询支持不足； （2）不支持sql，开发难度加大 | 查询简单、不涉及复杂关联的场景，如海量流水数据、交易记录、数据库历史数据 |
| Pig | 数据分析平台，侧重数据查询和分析，而不是对数据进行修改和删除等。需要把真正的查询转换成相应的MapReduce作业 | （1）处理海量数据的速度快 （2）相较mapreduce，使用Pig Latin编写程序时，不需关心程序如何更好地在hadoop云平台上运行，因为这些都有pig系统自行分配。 （3）在资管管理器故障时，可快速重启恢复状态； （4）不再区分Map池和Reduce池，提高了资源利用率； | 处理系统内日志文件、处理大型数据库文件、处理特定web数据 | 可看做简化mapreduce的高级语言 | |
| Zookeeper | 协调服务 | （1）高吞吐量 （2）低延迟 （3）高可靠 （4）有序性，每一次更新操作都有一个全局版本号 | 控制集群中的数据，如管理hadoop集群中的NameNode、Hbase中的Mster Election、Server见的状态同步 | ||
| Avro | 基于二进制数据传输高性能的中间件。数据序列化系统，可以将数据结构或对象转化成便于存储或传输的格式，以节约数据存储空间和网络传输贷款。适用于远程或本地大批量数据交互。 | （1）模式和数据在一起，反序列化时写入的模式和独处的模式都是已知的； （2）多语言支持； （3）可有效减少大规模存储较小的数据文件的数据量； （4）丰富的数据结构类型 | hadoop的RPC | ||
| Chukwa | 数据收集系统，帮助hadoop用户清晰了解系统运行的状态，分析作业运行的状态及HDFS的文件存储状态 | Scribe存储在中央存储系统（NFS）、Kafka、Flume。看到一篇对于日志系统讲的比较清晰的，也做了分类比较，再次引用给大家。 |
3.官网学习Hadoop的安装与使用，用文档的方式列出步骤与注意事项。
(1)创建Hadoop用户
1) 创建新用户
2) 修改密码、为hadoop用户添加管理员权限
（2)安装java环境
1) 安装
2) 配置环境变量
3) 测试java是否安装成功
（3)设置SSH
1) 安装SSH服务端
2) 登录localhost
3) 设置为无密码登录
（4)安装Hadoop
1) 单机模式配置
2) 伪分布式模式配置（修改配置文件、执行名称节点格式化、启动Hadoop、使用浏览器查看HDFS信息、运行Hadoop伪分布式实例、关闭Hadoop）
注意事项：（1）Hadoop并没有提供SSH密码登录的形式，所以需要将所有机器配置为无密码登录。
（2）如果再次运行上述命令，会报错，因为Hadoop默认不会覆盖output输出结果的文件夹，所有需要先删除output文件夹才能再次运行。
4.评估华为hadoop发行版本的特点与可用性。
1、统一的SQL接口，可以支持各种组件进行统一查询，而不需要把数据从一个组件迁移到另一个组件。
2、SparkSQL，SparkSQL概念并非华为提出，但华为为社区做出了很多贡献，自己的产品能力更强，例如华为主导向Spark SQL贡献的CPU优化器，使得稳定性和高性能比社区的开源的SQL更强。
3、完全自研的SQL引擎EIK，华为的SQL引擎更接近数据库甚至超过数据库，用户能够得到跟数据库一样甚至超过数据库交互体验效果。
4、Apach，CarbonData是华为主导的一个社区开展项目，参与者有国内众多互联网公司和大型企业，也有国外IT企业，其特点是对上层的应用无感知，提升了数据分析、数据查询的性能。
5、多级租户管理功能，FusionInsight提供的多级租户管理功能来匹配企业的组织架构，也就是说，可以有这种公司级的租户和管理员，有部门级的综合管理员，还有子部门租户和管理员，在给用户设置权限、设置资源配合有更方便的对应。
6、对异构设备支持，既支持高低配的设备在同一个大集群里，又支持开发应用可以指定某些应用运行在不同的机器上。
