欢迎来到我的博客小站。  交流请加我微信好友: studyjava。  也欢迎关注公众号:Java学习之道 Fork me on GitHub

zookeeper高可用集群搭建

前提:已经在master01配置好hadoop;在各个slave节点配置好hadoop和zookeeper;

(该文是将zookeeper配置在各slave节点上的,其实也可以配置在各master上,在哪配置就在哪启动zookeeper集群)

此文章基于上一篇文章:linux安装配置zookeeper-3.4.10

 

首先新增虚拟机master02;
一、虚拟机中操作(启动网卡)
sh /install/initNetwork.sh
ifup eth0


二、基础配置(主机名、IP配置、防火墙及selinux强制访问控制安全系统)
vi /etc/sysconfig/network (配置磁盘中主机名字)
vi /etc/hosts (配置映射,)
hostname 主机名 (修改内存中主机名)
然后,重新链接查看是否成功;

vi /etc/sysconfig/network-scripts/ifcfg-eth0
查看内容是否设置成功:cat /etc/sysconfig/network-scripts/ifcfg-eth0 

DEVICE=eth0 (设置需要重启的设备的名字)
TYPE=Ethernet(以太网)
ONBOOT=yes (设置为yes)
NM_CONTROLLED=yes
BOOTPROTO=static (设置为静态)
IPADDR=192.168.238.130 (本机IP地址)
NETMASK=255.255.255.0 (子网掩码)
GATEWAY=192.168.238.2 (网关)(查询本机网关:route -n)
DNS1=192.168.238.2
DNS2=8.8.8.8    (谷歌IP地址)

vi /etc/sysconfig/selinux
修改:SELINUX=disabled
去掉注释查看selinux内容:
grep -Ev '^#|^$' /etc/sysconfig/selinux

永久关闭防火墙:
service iptables stop
chkconfig iptables off


三、时间同步

for node in master01 master02 slave01 slave02 slave03;do ssh $node "date -s '2017-12-20 21:32:30'";done

 

四、配置ssh免密登录(为hadoop用户配置免密码登录)
需要两个master免密登录自己和其它各个节点,无需反向
[hadoop@master01 ~]# ssh-keygen -t rsa 创建公匙
[hadoop@master01 ~]# ssh-copy-id master02 拷贝公匙

 提升权限: 大数据学习交流群:217770236 让我我们一起学习大数据

chmod 777 /install /software

 

五、安装hadoop
所有安装了hadoop的节点执行下面的语句:
[hadoop@master01 ~]# rm -rf /software/hadoop-2.7.3/logs/* /software/hadoop-2.7.3/work/
然后[hadoop@master01 ~]# scp -r /software/hadoop-2.7.3/ master02:/software/
然后配置环境变量:
[root@master02 ~]$ vi /etc/profile

JAVA_HOME=/software/jdk1.7.0_79
HADOOP_HOME=/software/hadoop-2.7.3
PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/lib:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH JAVA_HOME HADOOP_HOME

 

在master01下:
进入文件夹下:cd /software/hadoop-2.7.3/etc/hadoop/
1、修改core-site.xml配置文件

 1 <configuration>
 2 <property>
 3     <name>fs.defaultFS</name>
 4         <!--默认的nameservice节点名字-->
 5     <value>hdfs://ns1</value>
 6     </property>
 7     <!-- 配置ZK集群,多个ZK集群节点中间用英文逗号隔开, -->
 8 <property>
 9       <name>ha.zookeeper.quorum</name>
10             <value>slave01:2181,slave02:2181,slave03:2181</value>
11             </property>
12   <property>
13       <name>hadoop.tmp.dir</name>
14       <value>/software/hadoop-2.7.3/work</value>
15   </property>
16 
17 </configuration>
core-site.xml

2、修改hdfs-site.xml 配置文件:

 1 <configuration>
 2 <property>
 3        <name>dfs.replication</name>
 4        <value>3</value>
 5 </property>
 6 <!-- 注意:此配置文件的配置必须与core-site.xml配置相吻合 -->
 7 <property>
 8        <name>dfs.nameservices</name>
 9        <value>ns1</value>    
10 </property>
11 <property>
12        <name>dfs.ha.namenodes.ns1</name>
13     <!-- 定义高可用nameservice节点集群ns1下的主从节点(就是高可用的那两个NN节点)-->
14        <value>nn1,nn2</value>    
15 </property>
16 <!--分别定义主从NN节点的RPC和HTTP通信,NN指代的是master,需修改-->
17 <property>
18     <name>dfs.namenode.rpc-address.ns1.nn1</name>
19     <value>master01:9000</value>
20 </property>
21 
22 <property>
23     <name>dfs.namenode.http-address.ns1.nn1</name>
24     <value>master01:50070</value>
25 </property>
26 
27 <property>
28     <name>dfs.namenode.rpc-address.ns1.nn2</name>
29     <value>master02:9000</value>
30 </property>
31 
32 <property>
33     <name>dfs.namenode.http-address.ns1.nn2</name>
34     <value>master02:50070</value>
35 </property>
36 <!-- 配置存放元数据的qjournal集群 -->
37 <property>
38     <name>dfs.namenode.shared.edits.dir</name>
39     <!-- 存放在QJID标识的文件夹中 -->
40     <value>qjournal://slave01:8485;slave02:8485;slave03:8485/QJID</value>
41 </property>
42 <!-- 配置qjournal集群节点在本地存放数据的位置 -->
43 <property>
44     <name>dfs.journalnode.edits.dir</name>
45     <value>/software/hadoop-2.7.3/QJMetaData</value>
46 </property>
47 <!-- 开启NN节点宕机后自动切换 -->
48 <property>
49     <name>dfs.ha.automatic-failover.enabled</name>
50     <value>true</value>
51 </property>
52 <!-- 配置故障转移代理类 -->
53 <property>
54     <name>dfs.client.failover.proxy.provider.ns1</name>
55     <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
56 </property>    
57 <!-- 确认是否主master是否真的宕机了,ensure.sh脚本需要自己编写 -->
58 <property>
59     <name>dfs.ha.fencing.methods</name>
60     <value>
61         sshfence
62         shell(/software/hadoop-2.7.3/ensure.sh)
63     </value>
64 </property>
65 <!-- 配置公式密钥 -->
66 <property>
67     <name>dfs.ha.fencing.ssh.private-key-files</name>
68     <value>/home/hadoop/.ssh/id_rsa</value>
69 </property>
70 <!-- 配置超时 -->
71 <property>
72     <name>dfs.ha.fencing.ssh.connect-timeout</name>
73     <value>30000</value>
74 </property>
75 </configuration>
hdfs-site.xml的configuration

拷贝这两个配置到其它所有节点:

scp -r /software/hadoop-2.7.3/etc/hadoop/core-site.xml /software/hadoop-2.7.3/etc/hadoop/hdfs-site.xml master02:/software/hadoop-2.7.3/etc/hadoop/

3、Yarn之ResourceManager高可用集群配置:

修改yarn-site.xml配置文件:

 1 <configuration>
 2 
 3 <!-- Site specific YARN configuration properties -->
 4 <!--
 5   <property>
 6       <name>yarn.resourcemanager.hostname</name>
 7       <value>master01</value>
 8   </property>
 9 -->
10 <property>
11       <name>yarn.resourcemanager.ha.enabled</name>
12       <value>true</value>
13 </property>
14 <property>
15       <name>yarn.resourcemanager.cluster-id</name>
16       <value>RMHA</value>
17 </property>
18 <property>
19       <name>yarn.resourcemanager.ha.rm-ids</name>
20       <value>rm1,rm2</value>
21 </property>
22 <property>
23       <name>yarn.resourcemanager.hostname.rm1</name>
24       <value>master01</value>
25 </property>
26 <property>
27       <name>yarn.resourcemanager.hostname.rm2</name>
28       <value>master02</value>
29 </property>
30 
31 <property>
32       <name>yarn.resourcemanager.zk-address</name>
33       <value>slave01:2181,slave02:2181,slave03:2181</value>
34 </property>
35 <property>
36       <name>yarn.nodemanager.aux-services</name>
37       <value>mapreduce_shuffle</value>
38 </property>
39 </configuration>
yarn-site.xml的configuration

 拷贝这一个配置到其它所有节点:

scp -r /software/hadoop-2.7.3/etc/hadoop/yarn-site.xml master02:/software/hadoop-2.7.3/etc/hadoop/

 大数据学习交流QQ群:217770236 让我们一起学习大数据

 

六、查看zookeeper高可用集群是否搭建成功:
1、在slave节点启动zookeeper集群(小弟中选个leader和follower)

cd /software/zookeeper-3.4.10/bin/ && ./zkServer.sh start && cd - && jps

2、在slaver节点上启动Qjournal集群(控制存放元数据的)

此步骤可以省略,因为在master上启动dfs集群时会自动拉起zk集群的Qjournal进程;

cd /software/hadoop-2.7.3/ && hadoop-daemon.sh start journalnode && jps

3、在master01上执行:
【格式化HDFS(只有第一次测试才执行)】cd /software/ && hdfs namenode -format
【拷贝work到master02对应节点下(只有第一次测试才执行)】scp -r /software/hadoop-2.7.3/work/ master02:/software/hadoop-2.7.3/
【格式化ZKFC客户端(只有第一次测试才执行)】cd /software/hadoop-2.7.3/ && hdfs zkfc -formatZK
【启动HDFS集群】cd /software/ && start-dfs.sh && jps

【启动YARN集群】cd /software/ && start-yarn.sh && jps

【YARN集群启动时,不会把另外一个备用主节点的YARN集群拉起来启动,所以在master02执行语句:】

cd /software/ && yarn-daemon.sh start resourcemanager && jps

【查看两个master谁是主节点:】

[hadoop@master01 software]$ hdfs haadmin -getServiceState nn1
active (主节点)
[hadoop@master01 software]$ hdfs haadmin -getServiceState nn2
standby (备用主节点)
【查看两个resourcemanager谁是主:】
[hadoop@master01 hadoop]$ yarn rmadmin -getServiceState rm1
active(主)
[hadoop@master01 hadoop]$ yarn rmadmin -getServiceState rm2
standby(备用)

【DFSZKFailoverController是Hadoop-2.7.0中HDFS NameNode HA实现的中心组件,它负责整体的故障转移控制等。它是一个守护进程,通过main()方法启动,继承自ZKFailoverController】

七、使用hdfs命令操作集群文件

【在master01新建测试文件mytest.txt,并上传到hdfs集群目录;且现在集群的前缀是hdfs://nsa/这是在hdfs-site.xml中配置的】

 

【在ZK集群slave节点中,可以看到】

 

 

【浏览器查看该节点的状态(端口号是在hdfs-site.xml文件中配置的)】
http://master的IP地址:50070   http://master的IP地址:8088

【如果出问题了,那么执行下面的语句:】

cd /software/hadoop-2.7.3/ && rm -rf QJMetaData/ work/ logs/* && cd /software

 

八、关闭启动的集群:

【关闭YARN集群】cd /software/ && stop-yarn.sh
【YARN集群关闭时,同样不会把另外一个备用主节点的YARN集群拉起来关闭,所以在master02执行语句:】
cd /software/ && yarn-daemon.sh stop resourcemanager
【关闭HDFS集群】cd /software/ && stop-dfs.sh
【关闭slave节点的QuorumPeerMain进程】cd /software/zookeeper-3.4.10/bin/ && ./zkServer.sh stop && jps

 

 

强制转换结点的状态:

<!-- 开启NN节点宕机后自动切换 -->
<property>
  <name>dfs.ha.automatic-failover.enabled</name>
   <!-- 现将true改成false -->
  <value>true</value>
</property>


<!-- 强制修改节点的状态,此操作不可逆,一般不做该操作 -->
  hdfs haadmin -transitionToActive --forceactive nn1 
  hdfs haadmin -transitionToStandby nn1

posted @ 2017-12-20 14:17  淼淼之森  阅读(4170)  评论(2编辑  收藏  举报
  👉转载请注明出处和署名