Linux下搭建ZooKeeper集群

摘要

Zookeeper是针对大型分布式系统的高可靠的协调系统。它基于对Paxos算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得ZooKeeper解决很多分布式问题。把分布式集群当成zoo,那么zookeeper就是管理员。zookeeper本身也可以是个集群,通过几台follow机器选举leader。zookeeper的主要作用包括,命名服务,配置管理,分布式一致性锁,HA(High available)。真是因为zookeeper在分布式系统领域如此重要,可以说是基石,所以我们绕不开要学习其使用及原理。

本文基于Ubuntu 16.04 LTS,介绍如何搭建1主2从的zookeeper集群。

环境依赖

  • 奇数台服务器,且非observer节点数>1;如果是偶数台服务器,可以把多出来的1台设置为observer
  • Java 8+
  • 防火墙开放2181、2888、3888端口:
ufw allow 2181
ufw allow 2888
ufw allow 3888
ufw reload

一、下载与解压ZooKeeper

1、下载

$ wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.6.2/apache-zookeeper-3.6.2-bin.tar.gz

2、解压到指定位置

$ tar -zxvf apache-zookeeper-3.6.2-bin.tar.gz -C /usr/local

$ mv /usr/local/apache-zookeeper-3.6.2-bin /usr/local/zookeeper_3.6.2

$ cd /usr/local/zookeeper_3.6.2

二、配置文件

本小节先在服务器1上进行配置,下一小节再通过scp将配置好的ZooKeeper分发到其他服务器上,减少重复工作。

1、创建配置文件

利用模板文件zoo_sample.cfg,通过拷贝创建配置文件zoo.cfg

$ cd /usr/local/zookeeper_3.6.2/conf
$ cp zoo_sample.cfg zoo.cfg

2、创建数据目录

$ mkdir /usr/local/zookeeper_3.6.2/data

3、修改配置文件dataDir

$ vim /usr/local/zookeeper_3.6.2/conf/zoo.cfg

#修改dataDir为如下内容
dataDir=/usr/local/zookeeper_3.6.2/data

4、添加server.id

$ vim /usr/local/zookeeper_3.6.2/conf/zoo.cfg

# 添加如下内容:
server.1=192.168.1.113:2888:3888
server.2=192.168.1.114:2888:3888
server.3=192.168.1.115:2888:3888
# server.id=zookeeper节点主机名 或 主机ip:2888:3888  选举端口和投票端口固定
# 如果有四台zookeeper的话,由于非observer节点数必须为奇数个
# 所以如果有第四台的话,可以使用如下添加方式:
# server.4=xx.xx.xx.xx:2888:3888:observer
# id是自己定义的,0~255间,不必一次递增,自己定即可,id表示该节点所持有的投票编号id,必需保证全局唯一

注意:不要在配置后面加注释#,这会导致cfg文件解析失败!从而导致zookeeper无法正常启动!

server.A=B:C:D中各参数解析如下:

A:其中 A 是一个数字,表示这个是服务器的编号;

B:是这个服务器的 ip 地址 或 主机名;

C:Leader选举的端口;

D:Zookeeper服务器之间的通信端口。

5、创建myid文件

在dataDir目录下创建myid文件

机器192.168.1.113上:

$ vim /usr/local/zookeeper_3.6.2/data/myid

#输入server.1=192.168.1.113:2888:3888所指定的id:1
1

机器192.168.1.114上:

$ vim /usr/local/zookeeper_3.6.2/data/myid

#输入server.1=192.168.1.114:2888:3888所指定的id:2
2

机器192.168.1.115上:

$ vim /usr/local/zookeeper_3.6.2/data/myid

#输入server.1=192.168.1.115:2888:3888所指定的id:3
3

三、将ZooKeeper分发到各个节点

$ cd /usr/local/
$ scp -r zookeeper_3.6.2 root@192.168.1.114:/usr/local/
$ scp -r zookeeper_3.6.2 root@192.168.1.115:/usr/local/

四、配置环境变量

需要再各个服务器上进行配置:

vim /etc/profile

#添加如下内容
export ZOOKEEPER_HOME=/usr/local/zookeeper_3.6.2
export PATH=$ZOOKEEPER_HOME/bin:$PATH

#激活环境变量
source /etc/profile

五、启动zkServer

所有节点上启动zkServer

$ zkServer.sh start

#输出如下:
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper_3.6.2/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

查看集群节点状态:

$ zkServer.sh status

#一个节点输出如下:
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper_3.6.2/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: leader

#另外两个节点输出如下:
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper_3.6.2/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower

有一台服务器的zk Mode为leader ,另外两台服务器的zk Mode为follower,如果配置了observer节点,则会有一台服务器的zk Mode为observer

停止命令:

zkServer.sh stop

重启命令:

zkServer.sh restart

六、查看ZooKeeper日志

如果启动过程出现了failed,可通过查看详细日志进行分析:

$ cd /usr/local/zookeeper_3.6.2/logs
$ cat zookeeper-<somthing>.out

至此,ZooKeeper集群环境搭建结束。

参考

[1]Apache Zookeeper 集群的搭建[https://blog.csdn.net/qq_33713328/article/details/88854991]

[2]zookeeper 集群搭建[https://www.cnblogs.com/ysocean/p/9860529.html]

更多关于大数据、分布式、存储、区块链、Linux相关文章请关注我的微信公众号:asympTech渐进线实验室

posted @ 2021-02-27 15:22  JasonCeng  阅读(1894)  评论(0编辑  收藏  举报