最近为了解决HDFS的单点故障的问题,采用了HA的方式是实现,并通过zookeeper来实现自动切换,既然需自动切换的话,那么必须要安装zookeeper,我选用的版本是3.4.6。下面详细介绍一下其安装过程。

  再讲具体的步骤之前,需要说明的是,我安装zookeeper的集群是用到了五个节点:分别是hadoop1,hadoop2,hadoop3,hadoop4,hadoop5。也就是说要在这五个节点上部署zookeeper。这里需要注意一点:zookeeper集群的节点数必须是奇数,并且至少为3个。这里涉及到zookeeper的选举算法。

1、首先肯定是从官网下载相应的tar包,并解压

  网址:http://zookeeper.apache.org/releases.html#download 截至到我发表该文章的时候,应尽出现了3.5.0的版本了。

  解压:tar -zxvf zookeeper-3.4.6.tar.gz

2、添加环境变量

  export ZOOKEEPER_HOME=/home/grid/zookeeper-3.4.6

  export PATH=$PATH:$ZOOKEEPER_HOME/bin

3、修改配置文件

  cd   zookeeper-3.4.6/conf ,将zoo_sample.cfg复制为zoo.cfg,并修改zoo.cfg的内容如下:

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/home/grid/zookeeper-3.4.6/zkdata
dataLogDir=/home/grid/zookeeper-3.4.6/zkdatalog
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888
server.3=hadoop3:2888:3888
server.4=hadoop4:2888:3888
server.5=hadoop5:2888:3888

  在这里需要注意zoo.cfg的配置文件中的dataDir和dataLogDir的路径当中的文件夹必须要已存在,否则后面启动zkServer服务的时候会失败。

4、在dataDir对应的路径文件夹下(我这里是zkdata文件夹),创建一个myid的文件,并在该文件中输入对应集群各节点的id,我这里对应的是hadoop1对应的就是1,这个是与

server.1=hadoop1:2888:3888对应的。各个节点分别输入对应的id值即可。

5、启动zkServer

  在各节点上执行:zkServer.sh start   并通过jps可以看到:启动了QuorumpeerMain进程。

  

6、此时可以通过zkServer.sh  status 命令来查看节点的启动状态。

  这里需要注意点,只有当至少启动了三个节点之后,该命令才会产生结果。否则会显示:zookeeper Error contacting service. It is probably not running错误

  当你启动了至少三个节点之后,执行该命令可以看到:

  

  至此,zookeeper的安装工作结束。

7、关闭zookeeper服务

  zkServer.sh stop  关闭

  zkServer.sh restart  重启