kafka安装

shiyanlou:/opt/ $ sudo wget http://labfile.oss.aliyuncs.com/courses/859/kafka_2.10-0.10.2.1.tgz

shiyanlou:/opt/ $ sudo tar -zxvf kafka_2.10-0.10.2.1.tgz

shiyanlou:/opt/ $ sudo mv kafka_2.10-0.10.2.1 kafka

shiyanlou:config/ $ sudo cp server.properties server1-.properties   
shiyanlou:config/ $ sudo cp server.properties server2-.properties

root@6a9eb5c4ff77:/opt/kafka# sudo chmod 777 -R /opt/kafka

root@6a9eb5c4ff77:/opt/kafka# cd bin/

启动zookeeper：

root@6a9eb5c4ff77:/opt/kafka/bin# ./zookeeper-server-start.sh  ../config/zookeeper.properties

这是一个java进程，在新的窗口输入：

shiyanlou:Desktop/ $ jps
683 Jps
411 QuorumPeerMain

看到QuorumPeerMain说明zookeeper启动成功

修改server.properties3个配置文件

server.properties 此文件不修改，保持默认值

server-1.properties 修改 broker.id=1，log.dir=/tmp/kafka-logs-1，新增 listeners=PLAINTEXT://:9093三个参数值

server-2.properties 修改broker.id=2，log.dir=/tmp/kafka-logs-2     listeners=PLAINTEXT://:9094三个参数值

三个 Kafka配置文件（server.properties、 server-1.properties、 server-2.properties），每个配置文件对应 Kafka 集群中一个节点（称为 Broker）

shiyanlou:config   cd /opt/kafka/bin

启动kafka集群：

shiyanlou:bin/ $ ./kafka-server-start.sh ../config/server.properties &

shiyanlou:bin/ $ ./kafka-server-start.sh ../config/server-1.properties &

shiyanlou:bin/ $ ./kafka-server-start.sh ../config/server-2.properties &

创建主题：
shiyanlou:bin/ $ ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic myFirstTopic

1、kafka-topics.sh：Kafka 提供的一个 shell 脚本文件(位于 bin 目录中)，用于创建或查看 topic 信息。
2、--create：shell 脚本的参数，告诉 shell 脚本：要创建一个 topic。
3、--zookeeper localhost:2181：shell 脚本的参数，告诉 shell 脚本 Zookeeper 的地址，用于保存 topic 元数据信息。
4、--partitions 1：shell 脚本参数，告诉 shell 脚本：所创建的这个 topic 的 partition 个数为1
5、--replication-factor 1：shell脚本参数，告诉 shell 脚本：每个 partition 的副本数为1
6、--topic myFirstTopic：shell 脚本参数，告诉 shell 脚本：创建的 topic 的名称为 myFirstTopic。

查看主题是否新建成功

shiyanlou:bin/ $ ./kafka-topics.sh --zookeeper localhost:2181 --list [10:45:39]
myFirstTopic启动消息生产者：

./kafka-console-producer.sh --broker-list localhost:9092 --topic myFirstTopic

hello kingleoric

启动消息消费者：

shiyanlou:bin/ $ ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic myFirstTopic
hello kingleoric

创建一个包含3个 partition、每个 partition 有2个副本的 topic：mySecondTopic

shiyanlou:bin/ $ ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 3 --topic mySendTopic
Created topic "mySendTopic".

查看状态：

shiyanlou:bin/ $ ./kafka-topics.sh --zookeeper localhost:2181 --describe --topic mySendTopic
Topic:mySendTopic PartitionCount:3 ReplicationFactor:2 Configs:
 Topic: mySendTopic Partition: 0 Leader: 2 Replicas: 2,0 Isr: 2,0
 Topic: mySendTopic Partition: 1 Leader: 0 Replicas: 0,1 Isr: 0,1
 Topic: mySendTopic Partition: 2 Leader: 1 Replicas: 1,2 Isr: 1,2

结果的第一行：topic 信息概述：Topic 名称为 mySecondTopic，partition 数量为3，副本数为2，三个 partition 的详细配置信息见下面三行。 紧接着三行信息，每一行描述了一个 partition 的信息，后面的 leader、replicas和ISR 涉及到 kafka 内核结构，这些参数保证了 kafka 集群的健壮性，保证消息不丢失，保证消息的高吞吐量。

mySecondTopic-0的Replicas为2,0,意思是mySecondTopic-0目录位于broker id为2和0的log.dirs指定的目录中。

shiyanlou:kafka-logs-1/ $ ls     
cleaner-offset-checkpoint  __consumer_offsets-21  __consumer_offsets-35  __consumer_offsets-49
__consumer_offsets-0       __consumer_offsets-22

log.dirs的目录在/tmp/kafka-logs-中

查看 Zookeeper 上的元数据信息：

hiyanlou:bin/ $ ./zookeeper-shell.sh localhost:2181                 [12:55:59]
Connecting to localhost:2181
Welcome to ZooKeeper!
JLine support is disabled

WATCHER::

WatchedEvent state:SyncConnected type:None path:null
lls /
ZooKeeper -server host:port cmd args
    stat path [watch]
    set path data [version]
    ls path [watch]
    delquota [-n|-b] path
    ls2 path [watch]
    setAcl path acl
    setquota -n|-b val path
    history 
    redo cmdno
    printwatches on|off
    delete path [version]
    sync path
    listquota path
    rmr path
    get path [watch]
    create [-s] [-e] path data acl
    addauth scheme auth
    quit 
    getAcl path
    close 
    connect host:port

查看元信息

ls /brokers
[ids, topics, seqid]
ls /brokers/ids   查看集群
[0, 1, 2]
ls /brokers/topics 查看主题
[mySendTopic, myFirstTopic, __consumer_offsets]

如果ls命令返回[],说明这个节点是叶子节点，可以运行 get 命令获取内容

ls /brokers/topics/mySendTopic/partitions
[0, 1, 2]
ls /brokers/topics/mySendTopic/partitions/0
[state]
ls /brokers/topics/mySendTopic/partitions/0/state
[]
get /brokers/topics/mySendTopic/partitions/0/state
{"controller_epoch":1,"leader":2,"version":1,"leader_epoch":0,"isr":[2,0]}
cZxid = 0xf4
ctime = Tue Dec 12 04:51:39 UTC 2017
mZxid = 0xf4
mtime = Tue Dec 12 04:51:39 UTC 2017
pZxid = 0xf4
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 74
numChildren = 0

 

tips:

1.producer：
　　消息生产者，发布消息到 kafka 集群的终端或服务。
2.broker：
　　kafka 集群中包含的服务器。
3.topic：
　　每条发布到 kafka 集群的消息属于的类别，即 kafka 是面向 topic 的。
4.partition：
　　partition 是物理上的概念，每个 topic 包含一个或多个 partition, topic 中的消息是以 partition 分区的形式存储的。kafka 分配的单位是 partition。
5.consumer：
　　从 kafka 集群中消费消息的终端或服务。
6.Consumer group：
　　high-level consumer API 中，每个 consumer 都属于一个 consumer group，每条消息只能被 consumer group 中的一个 Consumer 消费，但可以被多个 consumer group 消费。
7.replica：
　　partition 的副本，保障 partition 的高可用。Kafka 支持以 partition 为单位对消息进行冗余备份，每个 Partition 都必须配置至少1个 replication。replication-factor 参数指定了 replication 的个数，即 partition 的副本个数。
8.leader：
　　replica 中的一个角色， producer 和 consumer 只跟 leader 交互。
9.follower：
　　replica 中的一个角色，从 leader 中复制数据。
10.controller：
　　kafka 集群中的其中一个服务器，用来进行 leader election 以及 各种 failover。
12.zookeeper：
　　kafka 通过 zookeeper 来存储集群的 meta 信息。

13.Offset   --每个 partition 中的消息都是顺序存储的，每个消息都是有编号的，编号是顺序增长的。这个编号叫 offset，offset 记录了消息在 partition 中的位置。注意：offset 在一个 partition 内是有序的，多个 partition 之间的 offset 是独立存在的。

14.Leader replica  --在 partition 的多个副本 replication 中，有一个副本叫主副本（即Leader replica），所有消息消费者和消息生产者的读写请求都由 Leader replica 处理，这么做是为了保证一致性。其他副本叫从副本（即 Follower   replica）,从副本 从 主副本处把数据更新同步到本地。

15.ISR（全拼为：In-Sync Replica） --从副本中，如果从主副本处把数据更新同步到本地了，那么这个从副本处于ISR状态（已同步状态），如果没有完全与主副本同步，那么会被从ISR中踢出去，处于非同步状态。 

一个 topic 有3个 partition，每个 partition 维护着独立的 offset。如 partition 0 中，最先发送到这个 partition 中的消息，offset 为0，后来的消息 offset 为1,2,3...依次类推。