摘要：Hadoop初学思维导图 1，Hadoop ··· Hadoop： Hadoop的核心由HDFS和MapReduce组成。HDFS是分布式文件系统，是Hadoop生态圈的分布式数据存储基石；MapReduce是计算组件，会被Spark取代。 ··· Hadoop生态圈： Hadoop生态圈是一系列用 阅读全文

摘要：前期准备 （1）JAVA_HOME：因为Hadoop的配置文件中依赖 $JAVA_HOME。修改/etc/profile文件。 （2）hostname：修改主机名，方便管理。/etc/sysconfig/network。 （3）ip hostname：方便管理，hadoop默认是使用hostname 阅读全文

摘要：1，ZooKeeper概述 ··· 作用： · ZooKeeper是为分布式应用程序提供的一个分布式开源协调框架，是Hadoop和Hbase的重要组件； · 主要用于解决分布式集群中应用系统的一致性问题； · 提供了类似于Unix的节点树方式来存储数据； · 可用于维护和监控存储数据的状态变化，从而 阅读全文

摘要：1，HDFS体系结构 ··· HDFS是采用master/slaves即主从结构模型来管理数据的。这种模型主要由四部分组成，分别是Client、NameNode、DataNode、SecondaryNameNode。一个HDFS集群包括一个 NameNode(HA除外)和若干个 DataNode以及 阅读全文