04

1.用图与自己的话,简要描述Hadoop起源与发展阶段。

从与谷歌系统的关系,关键时间节点,1.x,2.x与3.x的区别,不同公司发行版本等方面来讲。

 

  Hadoop是一个对海量数据存储和海量数据分析计算的分布式系统。

Hadoop 1.x
            海量数据存储 ----> HDFS
            海量数据分析计算 ----> MapReduce
       Hadoop 2.x 增加
            资源调度系统 ----> Yarn

从hadoop最初的原型来看,hadoop已经远远超过了本身的批处理。从广义上来说,hadoop现在可以是指更广泛的一个hadoop生态了,而不仅仅是HDFS,MapReduce和Yarn。例如Hive,Hbase,Flume,Sqoop等等项目都属于这个生态。

 

从与谷歌系统的关系,关键时间节点,1.x,2.x与3.x的区别,不同公司发行版本等方面来讲

 1.0版本和2.0版本,2011年11月,Hadoop 1.0.0版本正式发布,意味着可以用于商业化。但是,1.0版本中,存在一些问题:

(1)扩展性差,JobTracker负载较重,成为性能瓶颈。

(2)可靠性差,NameNode只有一个,万一挂掉,整个系统就会崩溃。

(3)仅适用MapReduce一种计算方式。

(4)资源管理的效率比较低。

所以,2012年5月,Hadoop推出了 2.0版本 。

2.0版本中,在HDFS之上,增加了YARN(资源管理框架)层。它是一个资源管理模块,为各类应用程序提供资源管理和调度。此外,2.0版本还提升了系统的安全稳定性。所以,后来行业里基本上都是使用2.0版本。目前Hadoop又进一步发展到3.X版本。

 

posted on 2021-10-21 22:52  一杯冰摩卡  阅读(101)  评论(0编辑  收藏  举报

导航