HDFS Federation和NameNode HA的搭建

1. HDFS Federation产生背景

    在Hadoop 1.0中,HDFS的单NameNode设计带来诸多问题,包括单点故障、内存受限制约集群扩展性和缺乏隔离机制(不同业务使用同一个NameNode导致业务相互影响)等,为了解决这些问题,Hadoop 2.0引入了基于共享存储的HA解决方案和HDFS Federation,这里重点介绍HDFS Federation。

    HDFS Federation是指HDFS集群可同时存在多个NameNode,这些NameNode分别管理一部分数据,且共享所有DataNode的存储资源。这种设计可解决单NameNode存在的以下几个问题:

(1)HDFS集群扩展性。多个NameNode分管一部分目录,使得一个集群可以扩展到更多节点,不再像1.0中那样由于内存的限制制约文件存储数目。

(2)性能更高效。多个NameNode管理不同的数据,且同时对外提供服务,将为用户提供更高的读写吞吐率。

(3)良好的隔离性。用户可根据需要将不同业务数据交由不同NameNode管理,这样不同业务之间影响很小。

需要注意的,HDFS Federation并不能解决单点故障问题,也就是说,每个NameNode都存在在单点故障问题,你需要为每个namenode部署一个backup namenode以应对NameNode挂掉对业务产生的影响。

2.安装环境

由于HDFS federation仍然存在单点故障问题,所以我们考虑HA和HDFS federation共同搭建。各个节点角色分配如下:

用户名

ip地址

NameNode

(active)

secondarynamenode

NameNode

(standby)

JournalNode

DataNode

Zookeeper

归属组

centos94

192.168.1.94

Y

Y

 

 

Y

 

cloud-1

centos105

192.168.1.105

 

Y

Y

 

Y

 

centos95

192.168.1.95

Y

Y

 

Y

Y

Y

cloud-2

centos112

192.168.1.112

 

Y

Y

Y

Y

Y

centos111

192.168.1.111

 

 

 

Y

Y

Y

 

 

软件版本:

hadoop:hadoop-2.2.0.tar.gz(利用源码自编译后适用于64位系统)

zookeeper:zookeeper-3.4.6.tar.gz

 

前期具体的安装环境准备请参考文档:《Hadoop、HBase、Hive整合安装文档》

下面主要是一些参数设置:

HA + Federation,所有节点共同部分hdfs-site.xml

<property>

   <name>dfs.namenode.name.dir</name>

   <value>/home/admin/hadoop-2.2.0/dfs/name</value>

</property>

<property>

    <name>dfs.datanode.data.dir</name>

    <value>/home/admin/hadoop-2.2.0/dfs/data</value>

 </property>

<property>

    <name>dfs.nameservices</name>

    <value>cloud-1, cloud-2</value>

</property>

<property>

    <name>dfs.replication</name>

    <value>3</value>

</property>

<property>

    <name>dfs.ha.namenodes.cloud-1</name>

    <value>centos94,centos105</value>

</property>

<property>

    <name>dfs.ha.namenodes.cloud-2</name>

    <value>centos95,centos112</value>

</property>

<property>

    <name>dfs.namenode.rpc-address.cloud-1.centos94</name>

    <value>centos94:9000</value>

</property>

<property>

    <name>dfs.namenode.http-address.cloud-1.centos94</name>

    <value>centos94:50070</value>

</property>

<property>

    <name>dfs.namenode.rpc-address.cloud-1.centos105</name>

    <value>centos105:9000</value>

</property>

 

<property>

    <name>dfs.namenode.http-address.cloud-1.centos105</name>

    <value>centos105:50070</value>

</property>

<property>

    <name>dfs.namenode.rpc-address.cloud-2.centos95</name>

    <value>centos95:9000</value>

</property>

<property>

    <name>dfs.namenode.http-address.cloud-2.centos95</name>

    <value>centos95:50070</value>

</property>

<property>

    <name>dfs.namenode.rpc-address.cloud-2.centos112</name>

    <value>centos112:9000</value>

</property>

<property>

    <name>dfs.namenode.http-address.cloud-2.centos112</name>

    <value>centos112:50070</value>

</property>

<property>

<name>dfs.journalnode.edits.dir</name>

<value>/home/admin/hadoop-2.2.0/tmp/journal</value>

</property>

<property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence</value>

</property>

<property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/home/admin/.ssh/id_rsa</value>

</property>

在cloud-1和cloud-2中不一样的配置:

cloud-1

<property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://centos95:8485;centos111:8485;centos112:8485/cloud-1</value>

<description>指定cloud-1的两个NameNode共享edits文件目录时,使用的是JournalNode集群来维护</description>

</property>

<property>

<name>dfs.ha.automatic-failover.enabled.cloud-1</name>

<value>true</value>

</property>

<property>

<name>dfs.client.failover.proxy.provider.cloud-1</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

cloud-2

<property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://centos95:8485;centos111:8485;centos112:8485/cloud-2</value>

<description>指定cloud-2的两个NameNode共享edits文件目录时,使用的是JournalNode集群来维护</description>

</property>

<property>

<name>dfs.ha.automatic-failover.enabled.cloud-2</name>

<value>true</value>

</property>

<property>

<name>dfs.client.failover.proxy.provider.cloud-2</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

配置:core-site.xml(所有节点)

<configuration>

<property>
 <name>fs.defaultFS</name>
<value>hdfs://cloud-1</value>

<description>此处是默认的HDFS路径,在节点centos94和centos105中使用cloud-1,在节点centos95和centos112中使用cloud-2</description>

</property>
<property>
 <name>hadoop.tmp.dir</name>
 <value>/home/admin/hadoop-2.2.0/tmp</value>
</property>
<property>
 <name>ha.zookeeper.quorum</name>
<value>centos95:2181,centos111:2181,centos112:2181</value>

 <description>Zookeeper集群<description>

</property>

</configuration>

配置 slaves

vi slaves

centos94

centos95

centos111

centos112

centos105

配置 mapred-site.xml(所有节点)

<configuration>

<property>

 <name>mapreduce.framework.name</name>

 <value>yarn</value>

 </property>

</configuration>

配置yarn-site.xml(所有节点)

<configuration>

<!-- Site specific YARN configuration properties -->

<property>

 <name>yarn.nodemanager.aux-services</name>

 <value>mapreduce_shuffle</value>

 </property>

 <property>

 <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

 <value>org.apache.hadoop.mapred.ShuffleHandler</value>

 </property>

</configuration>

启动:

1、启动Zookeeper

在centos95、centos111、centos112上执行

    bin/zkServer.sh start

2、启动JournalNode

在centos95、centos111、centos112上执行:

    sbin/hadoop-daemon.sh start journalnode

3、ZooKeeper集群中初始化HA的状态(仅第一次需要执行)

在centos95、centos112上执行(namenodes节点上):

    bin/hdfs zkfc -formatZK

    在创建Federation环境的时候,需要注意保持${CLUSTER_ID}的值,以确保所有NN能共享同一个集群的存储资源,具体做法是在格式化第一台NN之后,取得其${CLUSTER_ID}的值,然后用如下命令格式化其他NN:

hdfs namenode -format -clusterid ${CLUSTER_ID}

4、在cloud-1的centos94节点上执行格式化(只有在第一次启动时需要进行格式化):

./hdfs namenode -format -clusterId hadoop(自己指定名称或者由集群自己生成)

sbin/hadoop-daemon.sh start namenode

生成的hadoop-cluster这个ID是整个集群共用的。保证两个NameService可以共享所有的DataNodes,否则两个NameService在format之后,生成的clusterid不一致,DataNode会随机注册到不同的NameNode上。

对centos105(备用NN)节点同步主NN的元数据信息:

bin/hdfs namenode -bootstrapStandby

启动备NN:

sbin/hadoop-daemon.sh start namenode

在centos94、centos105上启动zkfc:

sbin/hadoop-daemon.sh start zkfc

执行后, hadoop0、hadoop1有一个节点就会变为active状态。

5、在cloud-2的centos95节点上执行格式化:

   ./hdfs namenode -format -clusterId hadoop

sbin/hadoop-daemon.sh start namenode

对centos112(备用NN)节点同步主NN的元数据信息:

bin/hdfs namenode -bootstrapStandby

启动备NN:

sbin/hadoop-daemon.sh start namenode

    在centos95、centos112上启动zkfc:

    sbin/hadoop-daemon.sh start zkfc

6、启动所有的datanode

   在active namenode节点上执行:sbin/hadoop-daemons.sh start datanode

7、启动后的效果:

      

可以看出四者的Cluster ID是一致的。

 

8、启动YARN

   在centos94节点上执行:

   sbin/start-yarn.sh

9、关闭集群

    在RM和NN所在节点master执行:

    停止yarn:

    stop-yarn.sh

    停止hdfs:

    stop-dfs.sh

    停止zookeeper:

    zkServer.sh stop

10、总结

     问题1:格式化后两个namespace的CID不一致。

     解决办法:删除所有的tmp文件和dfs文件,重新格式化启动。

11、配置federation和HA后的hadoop集群安装hbase集群

在每一个federation内配置hbase集群,有几个federation就有几个hbase集群,而hbase集群之间是平行孤立的。需要把各个federation内hadoop配置文件hdfs-site.xml文件放置在hbase的conf目录下,然后把hbase.rootdir配置成联邦前缀。

12、问题解决方法

 NN从non-HA转到HA后,要清空/hbase/splitWAL

 在zookeeper node做下面的步骤

 1.运行/usr/lib/zookeeper/bin/zkCli.sh

 2. ls /hbase/splitWAL,如果存在,运行第三步

 3.rmr /hbase/splitWAL

 4.重启HBase

 把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下,然后重启HBase.

13、传统hadoop模式(主从结构)下hmaster启动失败处理方式(在不存在数据的情况下)

 1.运行~/zookeeper/bin/zkCli.sh

 2. ls /hbase/splitWAL,如果存在,运行第三步

 3.rmr /hbase/splitWAL

 4.重启HBase

 

 

  

posted on 2014-09-19 21:01 gaogf 阅读(...) 评论(...) 编辑 收藏

导航

统计

公告