docker环境下分析zookeeper观察者角色
问题引入
zookeeper新引入的角色observer是不参与投票的，通过增加observer节点，可以在提高zk系统读吞吐量时，不影响写吞吐量。
那么问题来了
-
Zookeeper系统节点如果超过半数宕机，就没法正常提高服务，这里的节点是否包含observer节点？
-
observer节点是否能提供写操作？还是只是充当“数据视图”的角色？
-
在跨机房中，如何更好的利用observer这个角色？
为了解决这些问题，我们在docker里搭建一套zookeeper环境（文末附上docker-compose配置文件zk.yml）。该zookeeper包含：1个leader节点，2个follower节点，2个observer节点。如下zk4，zk5为observer节点
➜ docker COMPOSE_PROJECT_NAME=zktest docker-compose -f zk.yml up
➜ docker COMPOSE_PROJECT_NAME=zktest docker-compose -f zk.yml ps
Name Command State Ports
------------------------------------------------------------------------------------------
zk1 /docker-entrypoint.sh zkSe ... Up 0.0.0.0:2881->2181/tcp, 2888/tcp, 3888/tcp
zk2 /docker-entrypoint.sh zkSe ... Up 0.0.0.0:2882->2181/tcp, 2888/tcp, 3888/tcp
zk3 /docker-entrypoint.sh zkSe ... Up 0.0.0.0:2883->2181/tcp, 2888/tcp, 3888/tcp
zk4 /docker-entrypoint.sh zkSe ... Up 0.0.0.0:2884->2181/tcp, 2888/tcp, 3888/tcp
zk5 /docker-entrypoint.sh zkSe ... Up 0.0.0.0:2885->2181/tcp, 2888/tcp, 3888/tcp
1、Zookeeper系统节点如果超过半数宕机，就没法正常提高服务，这里的节点是否包含observer节点？
测试1：将2个observer节点和1个follower或者leader节点删掉
➜ docker docker rm -f zk3 zk4 zk5
zk3
zk4
zk5
➜ docker COMPOSE_PROJECT_NAME=zktest docker-compose -f zk.yml ps
Name Command State Ports
------------------------------------------------------------------------------------------
zk1 /docker-entrypoint.sh zkSe ... Up 0.0.0.0:2881->2181/tcp, 2888/tcp, 3888/tcp
zk2 /docker-entrypoint.sh zkSe ... Up 0.0.0.0:2882->2181/tcp, 2888/tcp, 3888/tcp
测试下zookeeper系统是否正常提高服务
➜ docker echo stat | nc localhost 2881
Zookeeper version: 3.4.12-e5259e437540f349646870ea94dc2658c4e44b3b, built on 03/27/2018 03:55 GMT
Clients:
Latency min/avg/max: 0/0/0
Received: 2
Sent: 1
Connections: 1
Outstanding: 0
Zxid: 0x300000000
Mode: leader
Node count: 6
如上zookeeper可以正常提供服务。此时zookeeper系统节点包含：1个leader节点，1个follower节点。
假如zookeeper系统超过半数节点宕机则无法提供服务，这里的节点包括observer，那么一个拥有5个节点的机子，宕机了3个，理论上是没法提供服务的，与上面结果不符。显然假设不成立。
所以，zookeeper系统超过半数节点宕机则无法提供服务，这里的节点不包括observer。
接下来将zk2也删除，zookeeper系统没法正常提供服务。
➜ docker docker rm -f zk2
zk2
➜ docker echo stat | nc localhost 2881
This ZooKeeper instance is not currently serving requests
测试2：将2个leader或者follower节点删除
重启zookeeper系统
➜ docker COMPOSE_PROJECT_NAME=zktest docker-compose -f zk.yml up
➜ docker COMPOSE_PROJECT_NAME=zktest docker-compose -f zk.yml ps
Name Command State Ports
------------------------------------------------------------------------------------------
zk1 /docker-entrypoint.sh zkSe ... Up 0.0.0.0:2881->2181/tcp, 2888/tcp, 3888/tcp
zk2 /docker-entrypoint.sh zkSe ... Up 0.0.0.0:2882->2181/tcp, 2888/tcp, 3888/tcp
zk3 /docker-entrypoint.sh zkSe ... Up 0.0.0.0:2883->2181/tcp, 2888/tcp, 3888/tcp
zk4 /docker-entrypoint.sh zkSe ... Up 0.0.0.0:2884->2181/tcp, 2888/tcp, 3888/tcp
zk5 /docker-entrypoint.sh zkSe ... Up 0.0.0.0:2885->2181/tcp, 2888/tcp, 3888/tcp
删除2个leader或者follower节点
➜ docker docker rm -f zk1 zk2
zk1
zk2
➜ docker COMPOSE_PROJECT_NAME=zktest docker-compose -f zk.yml ps
Name Command State Ports
------------------------------------------------------------------------------------------
zk3 /docker-entrypoint.sh zkSe ... Up 0.0.0.0:2883->2181/tcp, 2888/tcp, 3888/tcp
zk4 /docker-entrypoint.sh zkSe ... Up 0.0.0.0:2884->2181/tcp, 2888/tcp, 3888/tcp
zk5 /docker-entrypoint.sh zkSe ... Up 0.0.0.0:2885->2181/tcp, 2888/tcp, 3888/tcp
测试zookeeper是否正常提供服务
➜ docker echo stat | nc localhost 2883
This ZooKeeper instance is not currently serving requests
结果显示，无法正常提供服务。由此进一步验证上面的结论。
结论
zookeeper系统超过半数节点宕机则无法提供服务，这里的节点不包括observer。所以，准确的应该说，zookeeper系统超过半数的follower或者leader节点宕机，则无法提供服务。
- zookeeper节点间心跳检测时，leader会判断收集到的成功响应节点中，follower节点是否过半，如果不是则断定当前系统已经宕机
- 用户往zookeeper写数据时，leader将提交请求转发给各个follower节点，并判断是否过半节点成功响应。如果成功响应，则将数据提交写入，observer直接共享提交后的数据结果
2、observer节点是否能提供写操作？还是只是充当“数据视图”的角色？
进入observer节点，创建节点
➜ docker zkCli -server localhost:2885
Connecting to localhost:2885
Welcome to ZooKeeper!
JLine support is enabled
[zk: localhost:2885(CONNECTING) 0] ls
WATCHER::
WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2885(CONNECTED) 1] ls /
[zookeeper]
[zk: localhost:2885(CONNECTED) 2] create /test test
Created /test
[zk: localhost:2885(CONNECTED) 3] get /test
test
cZxid = 0x500000002
ctime = Fri Jun 15 12:04:43 CST 2018
mZxid = 0x500000002
mtime = Fri Jun 15 12:04:43 CST 2018
pZxid = 0x500000002
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 4
numChildren = 0
[zk: localhost:2885(CONNECTED) 4]
结论
由上可知，observer和其他follower节点一样，支持写操作。也就是用户连接到observer节点后，发起写操作请求时，observer节点会将写请求转发给leader，该过程和follower一样。不同的时，leader将写操作分发到各个节点时，并不会分发给observer，由此来保证在增加observer节点时，不会影响写吞吐量。
3、在跨机房中，如何更好的利用observer这个角色？
假如有两个机房，一个在中国青岛，一个美国纽约。那么在架构部署时，可以将leader/follower节点集中部署在中国青岛或者美国纽约，从而避免应跨机房导致的网络通讯开销。因为所有的follower都会参与投票。另一个机房则动态增加observer节点，来提高系统的读吞吐量。
zookeeper集群系统docker-compose配置文件 zk.yml
version: '2'
services:
zk1:
image: zookeeper
restart: always
container_name: zk1
ports:
- "2881:2181"
environment:
ZOO_MY_ID: 1
ZOO_SERVERS: server.1=zk1:2888:3888 server.2=zk2:2888:3888 server.3=zk3:2888:3888 server.4=zk4:2888:3888:observer server.5=zk5:2888:3888:observer
zk2:
image: zookeeper
restart: always
container_name: zk2
ports:
- "2882:2181"
environment:
ZOO_MY_ID: 2
ZOO_SERVERS: server.1=zk1:2888:3888 server.2=zk2:2888:3888 server.3=zk3:2888:3888 server.4=zk4:2888:3888:observer server.5=zk5:2888:3888:observer
zk3:
image: zookeeper
restart: always
container_name: zk3
ports:
- "2883:2181"
environment:
ZOO_MY_ID: 3
ZOO_SERVERS: server.1=zk1:2888:3888 server.2=zk2:2888:3888 server.3=zk3:2888:3888 server.4=zk4:2888:3888:observer server.5=zk5:2888:3888:observer
zk4:
image: zookeeper
restart: always
container_name: zk4
ports:
- "2884:2181"
environment:
ZOO_MY_ID: 4
PEER_TYPE: observer
ZOO_SERVERS: server.1=zk1:2888:3888 server.2=zk2:2888:3888 server.3=zk3:2888:3888 server.4=zk4:2888:3888:observer server.5=zk5:2888:3888:observer
zk5:
image: zookeeper
restart: always
container_name: zk5
ports:
- "2885:2181"
environment:
ZOO_MY_ID: 5
PEER_TYPE: observer
ZOO_SERVERS: server.1=zk1:2888:3888 server.2=zk2:2888:3888 server.3=zk3:2888:3888 server.5=zk4:2888:3888:observer server.5=zk5:2888:3888:observer
