docker环境下分析zookeeper观察者角色

问题引入

zookeeper新引入的角色observer是不参与投票的,通过增加observer节点,可以在提高zk系统读吞吐量时,不影响写吞吐量。

那么问题来了

  1. Zookeeper系统节点如果超过半数宕机,就没法正常提高服务,这里的节点是否包含observer节点?

  2. observer节点是否能提供写操作?还是只是充当“数据视图”的角色?

  3. 在跨机房中,如何更好的利用observer这个角色?

为了解决这些问题,我们在docker里搭建一套zookeeper环境(文末附上docker-compose配置文件zk.yml)。该zookeeper包含:1个leader节点,2个follower节点,2个observer节点。如下zk4,zk5为observer节点

➜  docker COMPOSE_PROJECT_NAME=zktest docker-compose -f zk.yml up
➜  docker COMPOSE_PROJECT_NAME=zktest docker-compose -f zk.yml ps
Name              Command               State                     Ports                   
------------------------------------------------------------------------------------------
zk1    /docker-entrypoint.sh zkSe ...   Up      0.0.0.0:2881->2181/tcp, 2888/tcp, 3888/tcp
zk2    /docker-entrypoint.sh zkSe ...   Up      0.0.0.0:2882->2181/tcp, 2888/tcp, 3888/tcp
zk3    /docker-entrypoint.sh zkSe ...   Up      0.0.0.0:2883->2181/tcp, 2888/tcp, 3888/tcp
zk4    /docker-entrypoint.sh zkSe ...   Up      0.0.0.0:2884->2181/tcp, 2888/tcp, 3888/tcp
zk5    /docker-entrypoint.sh zkSe ...   Up      0.0.0.0:2885->2181/tcp, 2888/tcp, 3888/tcp

1、Zookeeper系统节点如果超过半数宕机,就没法正常提高服务,这里的节点是否包含observer节点?

测试1:将2个observer节点和1个follower或者leader节点删掉

➜  docker docker rm -f zk3 zk4 zk5
zk3
zk4
zk5
➜  docker COMPOSE_PROJECT_NAME=zktest docker-compose -f zk.yml ps
Name              Command               State                     Ports                   
------------------------------------------------------------------------------------------
zk1    /docker-entrypoint.sh zkSe ...   Up      0.0.0.0:2881->2181/tcp, 2888/tcp, 3888/tcp
zk2    /docker-entrypoint.sh zkSe ...   Up      0.0.0.0:2882->2181/tcp, 2888/tcp, 3888/tcp

测试下zookeeper系统是否正常提高服务

➜  docker echo stat | nc localhost 2881
Zookeeper version: 3.4.12-e5259e437540f349646870ea94dc2658c4e44b3b, built on 03/27/2018 03:55 GMT
Clients:

Latency min/avg/max: 0/0/0
Received: 2
Sent: 1
Connections: 1
Outstanding: 0
Zxid: 0x300000000
Mode: leader
Node count: 6

如上zookeeper可以正常提供服务。此时zookeeper系统节点包含:1个leader节点,1个follower节点。

假如zookeeper系统超过半数节点宕机则无法提供服务,这里的节点包括observer,那么一个拥有5个节点的机子,宕机了3个,理论上是没法提供服务的,与上面结果不符。显然假设不成立。

所以,zookeeper系统超过半数节点宕机则无法提供服务,这里的节点不包括observer。

接下来将zk2也删除,zookeeper系统没法正常提供服务。

➜  docker docker rm -f zk2
zk2
➜  docker echo stat | nc localhost 2881
This ZooKeeper instance is not currently serving requests

测试2:将2个leader或者follower节点删除

重启zookeeper系统

➜  docker COMPOSE_PROJECT_NAME=zktest docker-compose -f zk.yml up
➜  docker COMPOSE_PROJECT_NAME=zktest docker-compose -f zk.yml ps
Name              Command               State                     Ports                   
------------------------------------------------------------------------------------------
zk1    /docker-entrypoint.sh zkSe ...   Up      0.0.0.0:2881->2181/tcp, 2888/tcp, 3888/tcp
zk2    /docker-entrypoint.sh zkSe ...   Up      0.0.0.0:2882->2181/tcp, 2888/tcp, 3888/tcp
zk3    /docker-entrypoint.sh zkSe ...   Up      0.0.0.0:2883->2181/tcp, 2888/tcp, 3888/tcp
zk4    /docker-entrypoint.sh zkSe ...   Up      0.0.0.0:2884->2181/tcp, 2888/tcp, 3888/tcp
zk5    /docker-entrypoint.sh zkSe ...   Up      0.0.0.0:2885->2181/tcp, 2888/tcp, 3888/tcp

删除2个leader或者follower节点

➜  docker docker rm -f zk1 zk2
zk1
zk2
➜  docker COMPOSE_PROJECT_NAME=zktest docker-compose -f zk.yml ps
Name              Command               State                     Ports                   
------------------------------------------------------------------------------------------
zk3    /docker-entrypoint.sh zkSe ...   Up      0.0.0.0:2883->2181/tcp, 2888/tcp, 3888/tcp
zk4    /docker-entrypoint.sh zkSe ...   Up      0.0.0.0:2884->2181/tcp, 2888/tcp, 3888/tcp
zk5    /docker-entrypoint.sh zkSe ...   Up      0.0.0.0:2885->2181/tcp, 2888/tcp, 3888/tcp

测试zookeeper是否正常提供服务

➜  docker echo stat | nc localhost 2883
This ZooKeeper instance is not currently serving requests

结果显示,无法正常提供服务。由此进一步验证上面的结论。

结论

zookeeper系统超过半数节点宕机则无法提供服务,这里的节点不包括observer。所以,准确的应该说,zookeeper系统超过半数的follower或者leader节点宕机,则无法提供服务。

  • zookeeper节点间心跳检测时,leader会判断收集到的成功响应节点中,follower节点是否过半,如果不是则断定当前系统已经宕机
  • 用户往zookeeper写数据时,leader将提交请求转发给各个follower节点,并判断是否过半节点成功响应。如果成功响应,则将数据提交写入,observer直接共享提交后的数据结果

2、observer节点是否能提供写操作?还是只是充当“数据视图”的角色?

进入observer节点,创建节点

➜  docker zkCli -server localhost:2885
Connecting to localhost:2885
Welcome to ZooKeeper!
JLine support is enabled
[zk: localhost:2885(CONNECTING) 0] ls
WATCHER::

WatchedEvent state:SyncConnected type:None path:null

[zk: localhost:2885(CONNECTED) 1] ls /
[zookeeper]
[zk: localhost:2885(CONNECTED) 2] create /test test
Created /test
[zk: localhost:2885(CONNECTED) 3] get /test
test
cZxid = 0x500000002
ctime = Fri Jun 15 12:04:43 CST 2018
mZxid = 0x500000002
mtime = Fri Jun 15 12:04:43 CST 2018
pZxid = 0x500000002
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 4
numChildren = 0
[zk: localhost:2885(CONNECTED) 4] 

结论

由上可知,observer和其他follower节点一样,支持写操作。也就是用户连接到observer节点后,发起写操作请求时,observer节点会将写请求转发给leader,该过程和follower一样。不同的时,leader将写操作分发到各个节点时,并不会分发给observer,由此来保证在增加observer节点时,不会影响写吞吐量。

3、在跨机房中,如何更好的利用observer这个角色?

假如有两个机房,一个在中国青岛,一个美国纽约。那么在架构部署时,可以将leader/follower节点集中部署在中国青岛或者美国纽约,从而避免应跨机房导致的网络通讯开销。因为所有的follower都会参与投票。另一个机房则动态增加observer节点,来提高系统的读吞吐量。

zookeeper集群系统docker-compose配置文件 zk.yml

version: '2'
services:
    zk1:
        image: zookeeper
        restart: always
        container_name: zk1
        ports:
            - "2881:2181"
        environment:
            ZOO_MY_ID: 1
            ZOO_SERVERS: server.1=zk1:2888:3888 server.2=zk2:2888:3888 server.3=zk3:2888:3888 server.4=zk4:2888:3888:observer server.5=zk5:2888:3888:observer

    zk2:
        image: zookeeper
        restart: always
        container_name: zk2
        ports:
            - "2882:2181"
        environment:
            ZOO_MY_ID: 2
            ZOO_SERVERS: server.1=zk1:2888:3888 server.2=zk2:2888:3888 server.3=zk3:2888:3888 server.4=zk4:2888:3888:observer server.5=zk5:2888:3888:observer

    zk3:
        image: zookeeper
        restart: always
        container_name: zk3
        ports:
            - "2883:2181"
        environment:
            ZOO_MY_ID: 3
            ZOO_SERVERS: server.1=zk1:2888:3888 server.2=zk2:2888:3888 server.3=zk3:2888:3888 server.4=zk4:2888:3888:observer server.5=zk5:2888:3888:observer
    zk4:
        image: zookeeper
        restart: always
        container_name: zk4
        ports:
            - "2884:2181"
        environment:
            ZOO_MY_ID: 4
            PEER_TYPE: observer
            ZOO_SERVERS: server.1=zk1:2888:3888 server.2=zk2:2888:3888 server.3=zk3:2888:3888 server.4=zk4:2888:3888:observer server.5=zk5:2888:3888:observer
    zk5:
        image: zookeeper
        restart: always
        container_name: zk5
        ports:
            - "2885:2181"
        environment:
            ZOO_MY_ID: 5
            PEER_TYPE: observer
            ZOO_SERVERS: server.1=zk1:2888:3888 server.2=zk2:2888:3888 server.3=zk3:2888:3888 server.5=zk4:2888:3888:observer server.5=zk5:2888:3888:observer
posted @ 2018-06-15 12:14 游云浪天 阅读(...) 评论(...) 编辑 收藏