Centos下Zookeeper的安装部署

一 安装jdk

zookeeper是采用java开发的,所以需要依赖jdk环境,我们需要先安装jdk,最便捷的方式就是采用yum,但是yum的官方源速度很慢,我们可以先更换yum源;

#备份初始源 
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
#下载新的CentOS-Base.repo 源文件 
cd /etc/yum.repos.d
curl -O http://mirrors.aliyun.com/repo/Centos-7.repo
mv Centos-7.repo CentOS-Base.repo
#更新缓存
yum clean all
yum makecache

ok现在我们就可以使用yum安装需要的jdk了

yum -y install java-1.8.0-openjdk-demo.x86_64
#验证一下  
java -version

二 安装zookeeper

#下载二进制压缩包
wget https://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.6.1/apache-zookeeper-3.6.1-bin.tar.gz

#解压缩
tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz
#移动至local下
mv apache-zookeeper-3.5.7-bin /usr/local
# 创建软连接
ln -s /usr/local/apache-zookeeper-3.5.7-bin /usr/local/zookeeper
# 添加至环境变量
echo export PATH=\"\$PATH:/usr/local/zookeeper/bin\" >> ~/.bashrc
source ~/.bashrc

目录结构:

配置文件模板:

主要配置项:

三 启动与访问

#在启动前需要先提供 一个dataDir,在安装目录下创建名为data的目录
#该目录默认指向tmp必须修改,用于存储zookeeper持久化数据和日志文件;
cd /usr/local/zookeeper
mkdir data

#复制配置模板更名为zoo.cfg
cd /usr/local/zookeeper/conf
cp zoo_sample.cfg  zoo.cfg

#修改zoo.cfg中的dataDir指向新建的data目录
#dataDir=/usr/local/zookeeper/data

#启动
zkServer.sh start

客户端访问

zkCli.sh
#当服务器不在当前机器上时通过 -server参数指定主机地址 
zkCli.sh -server 10.211.55.3:2181

四 集群搭建

集群搭建准备

在开始搭建集群之前我们需要先了解一下概念：

三种角色:

为了避免 Zookeeper 的单点问题，zk 也是以集群的形式出现的。zk 集群中的角色主要有 以下三类:

• Leader 集群的主节点,可以处理写请求,并将数据同步至从节点

• Follower 从节点,跟随者,决策者,学习者,仅可以处理读请求,收到写请求是自动转发给leader,具备选举权,被选举权,决策权

• Observer 学习者 仅可处理读请求,且不具备选举权,被选举权和决策权

  由于选举leader的过程使用的是paxos算法,参与选举的节点越多则选举过程越慢,且选举过程中节点不可对外服务,Observe可以缩短leader选举过程所需的时间; 减少集群不可用;

法定人数

zookeeper服务器运行于两种模式:独立模式和集群模式。集群模式下，会复制所有服务器的 数据树。但如果让客户端等待所有复制完成，延迟太高。这里引入法定人数概念，指为了使zookeeper 集群正常工作，必须有效运行的服务器数量。同时也是服务器通知客户端保存成功前，必须保存数据的 服务器最小数。例如我们有一个5台服务器的zookeeper集群，法定人数为3，只要任何3个服务器保存了数据，客户端就会收到确认。

另外当法定人数为3时，集群中只要有3台服务器存活，整个zookeeper集群就是可用的。

注意:observer不算在法定人数内

集群应有奇数个节点

zookeeper节点数量因当是大于1的奇数,因为zookeeper集群必须在大多数节点都可用的情况下才能正常提供访问,若节点为3个则运行宕机1个,若节点为4个同样只允许宕机1个,偶数个节点的允许宕机的节点占比更低;

集群搭建

ip配置

通常虚拟机会以dhcp的方式获得ip,ip可能会发生变化,造成无法连接服务器,所以我们先对克隆得到的虚拟机,进行静态ip配置,同时修改hostname,保证集群中所有服务器的主机名和地址都是不同的

#修改主机名称  zk1 是新的主机名
echo zk1 > /etc/hostname
#修改 ip配置
vim /etc/sysconfig/network-scripts/ifcfg-eth0

修改后的文件内容:

只修改标注的内容,其他的保持原样

防火墙设置:

为了使服务器之间能互相访问,需要开放对应端口,或是停止防火墙(仅限测试环境),相关 指令 如下:

#1.禁止firewall开机启动
systemctl disable firewalld
#2.设置开机启动防火墙
systemctl enable firewalld.service

zookeeper集群部署

zookeeper节点数量因当是大于1的奇数,因为zookeeper集群必须在大多数节点都可用的情况下才能正常提供访问,若节点为3个则运行宕机1个,若节点为4个同样只允许宕机1个,偶数个节点的允许宕机的节点占比更低;

1.在配置文件中配置节点信息

注意:若是在一台机器上做测试,则需要需改clientPort,以及每个节点的通信端口和选举端口,保证不与其他节点冲突

2.在dataDir目录下创建myid

该文件用于存储集群中各个zookeeper节点的编号

创建myid文件:

touch /usr/local/zookeeper/data/myid
#文件内容为当前zookeeper的节点编号与配置文件对应
echo 1 > /usr/local/zookeeper/data/myid

注意:若data目录下有其他文件则需要删除,在创建集群前要保持zookeeper是空的

3.克隆当前虚拟机

1.逐个启动新的虚拟机并修改ip地址(按照上面的方法)

2.修改myid文件中的节点id与配置文件匹配

3.逐个启动每个虚拟机上的zookeeper服务

zkServer.sh start
#启动完成后可以通过以下指令查看当前zookeeper的状态
zkServer.sh status

可以发现此时有一个leader和两个follower表示集群已正常运行

Observer

为什么需要Observer:

为了提高zookeeper的吞吐量,我们可以为其添加更多的follower,但是更多的follower会导致投票过程变得更慢,而客户端的响应时间变长(因为投票过程zookeeper不能响应),因此zookeeper设计了Observer节点

什么是Observer:

Observer与普通的 follower仅有一个区别: Observer不参与 投票环节; 但是提议 和commit同样会发送给Observer,这意味着Observer中的数据也是一致的,既提高了整个集群的性能同时避免了,投票带来的延迟;

配置方法:

只需要在 节点后面 添加observer关键字即可将节点作为Observer

echo server.4=10.211.55.9:28888:38888:observer >> /usr/local/zookeeper/conf/zoo.cfg
#添加后的内容:
server.1=10.211.55.5:28888:38888
server.2=10.211.55.6:28888:38888
server.3=10.211.55.7:28888:38888
server.4=10.211.55.8:28888:38888:observer

启动集群后通过status查看节点状态:

zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: observer

但要注意Observer不能算在法定人数内;