zookeeper的学习笔记

概述

Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，
它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化 ，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。

特点

1）Zookeeper：一个领导者（Leader），多个跟随者（Follower）组成的集群。 
2）集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。 
3）全局数据一致：每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的。 
4）更新请求顺序进行，来自同一个Client的更新请求按其发送顺序依次执行。 
5）数据更新原子性，一次数据更新要么成功，要么失败。 
6）实时性，在一定时间范围内，Client能读到最新数据。

数据结构

 

配置参数的解读

Zookeeper中的配置文件zoo.cfg中参数含义解读如下：

1．tickTime =2000：通信心跳数，Zookeeper 服务器与客户端心跳时间，单位毫秒

Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，时间单位为毫秒。

它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)

 

2．initLimit =10：LF 初始通信时限

时间=10*tickTime

集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数（tickTime的数量），用它来限定集群中的Zookeeper服务器连接到Leader的时限。

 

3．syncLimit =5：LF 同步通信时限集群中Leader与Follower之间的最大响应时间单位，假如响应超过syncLimit *tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer。

 

4．dataDir：数据文件目录+数据持久化路径主要用于保存 Zookeeper 中的数据。

 

5．clientPort =2181：客户端连接端口监听客户端连接的端口。

节点类型

持久(Persistent):客户端和服务器端断开连接后，创建的节点不删除

　　　　持久分为普通持久和带顺序的持久

短暂（Ephemeral):客户端和服务器端断开连接后，创建的节点自己删除

　　　　短暂分为普通短暂和带顺序的短暂

说明：创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计数器，由父节点维护
注意：在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序

集群配置主要注意的地方

1.每个节点要单独创建一个myid文件，并在里面加上唯一的Id

2.集群参数配置为server.A=B:C:D

A 是一个数字，表示这个是第几号服务器；集群模式下配置一个文件 myid，这个文件在 dataDir 目录下，这个文件里面有一个数据
就是 A 的值，Zookeeper 启动时读取此文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是哪个 server。
B 是这个服务器的地址；
C 是这个服务器 Follower 与集群中的 Leader 服务器交换信息的端口；
D 是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

客户端的命令行操作

1．启动客户端

bin/zkCli.sh

2．显示所有操作命令

help

3．查看当前 znode 中所包含的内容

ls /

4．查看当前节点详细数据

ls2 /

5．分别创建 2 个普通节点 

**要在节点下创建对应的内容，无法单独创建节点

create /sanguo "jinlian"
create /sanguo/shuguo "liubei"

6．获得节点的值

[zk: localhost:2181(CONNECTED) 5] get /sanguo

jinlian

cZxid = 0x100000003

ctime = Wed Aug 29 00:03:23 CST 2018

mZxid = 0x100000003

mtime = Wed Aug 29 00:03:23 CST 2018

pZxid = 0x100000004

cversion = 1

dataVersion = 0

aclVersion = 0

ephemeralOwner = 0x0

dataLength = 7

numChildren = 1

 

 

 

7．创建短暂节点

创建短暂节点后，客户端退出，短暂节点会被删掉

create -e /sanguo/wuguo "zhouyu"

8．创建带序号的节点

如果原来没有序号节点，序号从 0 开始依次递增。如果原节点下已有 2 个节点，则再排序时从 2 开始，以此类推。 

create -s /sanguo/weiguo/xiaoqiao "jinlian"

9．修改节点数据值 

set /sanguo/weiguo "simayi"

10．节点的值变化监听

一个监听只能触发一次，多次监听要多次get /** watch

1.get /sanguo watch --在A客户端设置值监听
2.set /sanguo "xisi"--在B客户端改了值
3.WATCHER::WatchedEvent state:SyncConnected type:NodeDataChanged path:/sanguo --在A客户端发现有监听

11．节点的子节点变化监听（路径变化） 

一个监听只能触发一次，多次监听要多次ls /** watch

1.ls /sanguo watch--在A客户端上设置了路径监听
2.create /sanguo/jin "simayi"--在B客户端上对监听路径新增了一个子节点
3.WATCHER::WatchedEvent state:SyncConnected type:NodeChildrenChanged  --在A客户端发现有监听

12．删除节点 

只能删除空节点

delete /sanguo/jin

13．递归删除节点 

删除此节点下的所有内容

rmr /sanguo/shuguo

14．查看节点状态 

[zk: localhost:2181(CONNECTED) 17] stat /sanguo

cZxid = 0x100000003

ctime = Wed Aug 29 00:03:23 CST 2018

mZxid = 0x100000011

mtime = Wed Aug 29 00:21:23 CST 2018

pZxid = 0x100000014

cversion = 9

dataVersion = 1

aclVersion = 0

ephemeralOwner = 0x0

dataLength = 4

numChildren = 1

 

Stat 结构体
1）czxid-创建节点的事务 zxid
每次修改 ZooKeeper 状态都会收到一个 zxid 形式的时间戳，也就是 ZooKeeper 事务 ID。事务 ID 是 ZooKeeper 中所有修改总的次序。每个修改都有唯一的 zxid，如果 zxid1 小于 zxid2，那么 zxid1 在 zxid2 之前发生。
2）ctime - znode 被创建的毫秒数(从 1970 年开始) 3）mzxid - znode 最后更新的事务 zxid
4）mtime - znode 最后修改的毫秒数(从 1970 年开始) 5）pZxid-znode 最后更新的子节点 zxid
6）cversion - znode 子节点变化号，znode 子节点修改次数
7）dataversion - znode 数据变化号
8）aclVersion - znode 访问控制列表的变化号
9）ephemeralOwner- 如果是临时节点，这个是 znode 拥有者的 session id。如果不是临时节点则是 0。

10）dataLength- znode 的数据长度
11）numChildren - znode 子节点数量

监听器原理

zookeeper是通过两个线程来进行收发。kafka是客户端不断进行轮询拿数据

 

写数据的流程

kafka的读写都是对leader进行的。zookeeper是所有节点都可以，节点再转给leader

kafka通过ACK机制，控制ISR队列内的副本写入。zookeeper则是半数成功。

选举leader的流程

zookeeper