[大数据] Hadoop 概述

1 Hadoop：发展沿革

摘要：1个人（Doug Cutting）、2个公司(Google、Cloudera)

1.1 渊源

Hadoop项目
- 最初开发者/创始者： Doug Cutting（道格·卡丁，现任 Apache 基金会的主席)
  - 1985年毕业于美国斯坦福大学
  - 1997年发布 Lucene 项目
  - 2004年发布 Nutch 项目
  - 2006年发布 Hadoop项目(Hadoop从Nutch中独立，以便支持MapReduce与HDFS的发展)
  - 2006年2月受邀加入 Yahoo
  - 2009年以首席架构师身份加入 Cloudera(2008.6.27成立/2017年上市)
  - 20xx年当选 Apache 基金会主席
- 命名由来：Doug Cutting 起先给他孩子的1个棕色的大象的玩具的名字（简短、容易发音、易于拼写）
- 最初的模块： HDFS 与 MapReduce （后期不断加入Hbase、Hive等子模块项目，直至最终Hadoop泛化成为云计算与大数据产业链中的1个超大概念）
- 灵感的起源：Google的3篇论文

1.2 发展沿革

1.3 Cloudera公司

2 Hadoop：体系架构与软件生态

推荐文献

hadoop生态系统主要架构图汇总 - 博客园

Hadoop 生态架构

黑框：非Hadoop原本组件; 红框：Hadoop核心组件

老版本的架构图

Hadoop 1.x vs 2.x

Hadoop 1.x => Hadoop 2.x

Hadoop 技术架构

Hadoop 1.x

Hadoop 2.x

Hadoop 工作流程

MapReduce2.x YARN 工作流程图 - ProcessOn

3 Hadoop：模块构成

Hadoop Common：支撑其他模块
Hadoop Distributed File System ：分布式文件系统（对应用系统提供高吞吐量的访问）
Hadoop Yarn：资源管理和任务调度的框架
Hadoop MapReduce：能够并行处理大数据集的Yarn最核心、最基本模块
Hadoop Hive : 离线数据仓库

语法类比 MYSQL

Apache Sqoop: RDBMS(MySQL / Oracle等)与Hadoop(HBase/Hive/HDFS等)之间导入/迁入、导出/迁出的ETL工具

推荐此文:Sqoop学习之路（一） - 博客园

Hadoop YARN

Hadoop MapReduce

Hadoop-MapReduce 工作流程图 - ProcessOn

Hadoop Hive

Hive架构 - ProcessOn

Apache Spark

Spark 是 Hadoop 的好搭档，它像是个速度飞快的数据处理快车。

与 Hadoop 相比，Spark 更擅长内存计算，这意味着它能更快地处理数据。
Spark 支持各种复杂任务，如流式处理、机器学习和图形计算等，为我们提供更多可能性。
它的快速处理能力让我们在大数据领域行驶如风！

工作流程图

Spark 运行架构 - ProcessOn

Hadoop HBase

HBase

HBase 是一个分布式数据库，它像是一个超大号的表格，可以存储非结构化数据，也可以让非结构化数据配合Phoenix实现SQL操作。
与传统的数据库不同，HBase 可以轻松应对海量的数据，而且还具备高可扩展性和高容错性。
它通常用于存储非结构化数据，比如日志和社交媒体数据，为我们提供了一个强大的数据存储工具。

HBase 架构 - ProcessOn

Apache Kafka

Apache Kafka

Kafka 是一个高吞吐量的分布式消息队列系统，用于实时数据流的传输和处理。

它能够支持百万级别的消息传输，是构建实时数据处理系统的理想选择。

Kafka 是一个高效的消息传递平台，就像是一条快速传送信息的管道。

它能够让消息快速、可靠地从发送方传送到接收方。

不仅如此，它还能让消息的发送和接收变得灵活，就像是可以随时寄快递，而收件人在方便的时候签收包裹一样。

Kafka 架构 - ProcessOn

Apache Flink

Flink 就像是一个实时数据处理专家，它可以让我们的数据处理变得更加快速和高效。

Flink 支持流式数据处理，这意味着它可以实时地处理数据流，而不需要等待所有数据都到齐。
这对于一些需要实时反馈的任务非常有用，比如实时监控和推荐系统。

Apache ZooKeeper

ZooKeeper 就像是一个动物管理员，它负责管理大数据系统中的各种服务和组件。

它可以帮助我们进行分布式协调和配置管理，确保所有组件能够协同工作。
ZooKeeper 是大数据生态系统的重要支柱，保证了整个系统的稳定性和可靠性。

ZooKeeper 的核心——ZAB 协议

4 Hadoop发行版(开源版)

Apache Hadoop

推荐使用最新的2.x.x版本，比如:2.4.0。Apache版本是最原始（最基础）的版本，对于入门学习最好。
下载地址:http://hadoop.apache.org/releases.html
SVN: http://svn.apache.org/repos/asf/hadoop/common/branches

CDH(Cloudera Distributed Hadoop)

推荐使用最新的CDH5版本，比如: 5.0.0
下载地址: http://archive.cloudera.com/cdh5/cdh

（1）2008年成立的Cloudera是最早将Hadoop商用的公司，为合作伙伴提供Hadoop的商用解决方案，主要是包括支持、咨询服务、培训。

（2）2009年Hadoop的创始人Doug Cutting也加盟Cloudera公司。Cloudera产品主要为CDH，Cloudera Manager，Cloudera Support

（3）CDH是Cloudera的Hadoop发行版，完全开源，比Apache Hadoop在兼容性，安全性，稳定性上有所增强。

（4）Cloudera Manager是集群的软件分发及管理监控平台，可以在几个小时内部署好一个Hadoop集群，并对集群的节点及服务进行实时监控。Cloudera Support即是对Hadoop的技术支持。

（5）Cloudera的标价为每年每个节点4000美元。Cloudera开发并贡献了可实时处理大数据的Impala项目。

HDP(Hortonworks Data Platform)

推荐使用最新的HDP2.x版本，比如：HDP2.1
下载地址: http://zh.hortonworks.com/hdp/downloads

（1）2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建。

（2）公司成立之初就吸纳了大约25名至30名专门研究Hadoop的雅虎工程师，上述工程师均在2005年开始协助雅虎开发Hadoop，贡献了Hadoop80%的代码。

（3）雅虎工程副总裁、雅虎Hadoop开发团队负责人Eric Baldeschwieler出任Hortonworks的首席执行官。

（4）Hortonworks的主打产品是Hortonworks Data Platform（HDP），也同样是100%开源的产品，HDP除常见的项目外还包括了Ambari，一款开源的安装和管理系统。

（5）HCatalog，一个元数据管理系统，HCatalog现已集成到Facebook开源的Hive中。Hortonworks的Stinger开创性的极大的优化了Hive项目。Hortonworks为入门提供了一个非常好的，易于使用的沙盒。

（6）Hortonworks开发了很多增强特性并提交至核心主干，这使得Apache Hadoop能够在包括Window Server和Windows Azure在内的microsoft Windows平台上本地运行。定价以集群为基础，每10个节点每年为12500美元。

其它厂商(国内)

Fusion Insight - HUAWEI

华为FusionInsight 是基于开源社区软件Hadoop 进行功能增强，提供企业级大数据存储、查询和分析的统一平台，帮助企业快速构建海量数据信息处理系统。

通过对各类海量数据信息进行实时和非实时的分析和挖掘，帮助企业从海量数据信息中获取到真正的价值，及时洞察和决策新的机会与风险。

FusionInsight HD 2.6 大数据平台的逻辑架构图如下，包含：