kafka安装

shiyanlou:/opt/ $ sudo wget http://labfile.oss.aliyuncs.com/courses/859/kafka_2.10-0.10.2.1.tgz

shiyanlou:/opt/ $ sudo tar -zxvf kafka_2.10-0.10.2.1.tgz

shiyanlou:/opt/ $ sudo mv kafka_2.10-0.10.2.1 kafka

shiyanlou:config/ $ sudo cp server.properties server1-.properties   
shiyanlou:config/ $ sudo cp server.properties server2-.properties

root@6a9eb5c4ff77:/opt/kafka# sudo chmod 777 -R /opt/kafka

root@6a9eb5c4ff77:/opt/kafka# cd bin/

启动zookeeper:

root@6a9eb5c4ff77:/opt/kafka/bin# ./zookeeper-server-start.sh  ../config/zookeeper.properties

这是一个java进程,在新的窗口输入:

shiyanlou:Desktop/ $ jps
683 Jps
411 QuorumPeerMain

看到QuorumPeerMain说明zookeeper启动成功

修改server.properties3个配置文件

server.properties 此文件不修改,保持默认值

server-1.properties 修改 broker.id=1,log.dir=/tmp/kafka-logs-1,新增 listeners=PLAINTEXT://:9093三个参数值

server-2.properties 修改broker.id=2,log.dir=/tmp/kafka-logs-2     listeners=PLAINTEXT://:9094三个参数值

三个 Kafka配置文件(server.properties、 server-1.properties、 server-2.properties),每个配置文件对应 Kafka 集群中一个节点(称为 Broker)

shiyanlou:config   cd /opt/kafka/bin

启动kafka集群:

shiyanlou:bin/ $ ./kafka-server-start.sh ../config/server.properties &

shiyanlou:bin/ $ ./kafka-server-start.sh ../config/server-1.properties &

shiyanlou:bin/ $ ./kafka-server-start.sh ../config/server-2.properties &

创建主题:
shiyanlou:bin/ $ ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic myFirstTopic

1、kafka-topics.sh:Kafka 提供的一个 shell 脚本文件(位于 bin 目录中),用于创建或查看 topic 信息。
2、--create:shell 脚本的参数,告诉 shell 脚本:要创建一个 topic。
3、--zookeeper localhost:2181:shell 脚本的参数,告诉 shell 脚本 Zookeeper 的地址,用于保存 topic 元数据信息。
4、--partitions 1:shell 脚本参数,告诉 shell 脚本:所创建的这个 topic 的 partition 个数为1
5、--replication-factor 1:shell脚本参数,告诉 shell 脚本:每个 partition 的副本数为1
6、--topic myFirstTopic:shell 脚本参数,告诉 shell 脚本:创建的 topic 的名称为 myFirstTopic。

查看主题是否新建成功

shiyanlou:bin/ $ ./kafka-topics.sh --zookeeper localhost:2181 --list [10:45:39]
myFirstTopic启动消息生产者:

./kafka-console-producer.sh --broker-list localhost:9092 --topic myFirstTopic

hello kingleoric

启动消息消费者:

shiyanlou:bin/ $ ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic myFirstTopic
hello kingleoric

创建一个包含3个 partition、每个 partition 有2个副本的 topic:mySecondTopic

shiyanlou:bin/ $ ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 3 --topic mySendTopic
Created topic "mySendTopic".

查看状态:

shiyanlou:bin/ $ ./kafka-topics.sh --zookeeper localhost:2181 --describe --topic mySendTopic
Topic:mySendTopic PartitionCount:3 ReplicationFactor:2 Configs:
 Topic: mySendTopic Partition: 0 Leader: 2 Replicas: 2,0 Isr: 2,0
 Topic: mySendTopic Partition: 1 Leader: 0 Replicas: 0,1 Isr: 0,1
 Topic: mySendTopic Partition: 2 Leader: 1 Replicas: 1,2 Isr: 1,2

结果的第一行:topic 信息概述:Topic 名称为 mySecondTopic,partition 数量为3,副本数为2,三个 partition 的详细配置信息见下面三行。 紧接着三行信息,每一行描述了一个 partition 的信息,后面的 leader、replicas和ISR 涉及到 kafka 内核结构,这些参数保证了 kafka 集群的健壮性,保证消息不丢失,保证消息的高吞吐量。

mySecondTopic-0的Replicas为2,0,意思是mySecondTopic-0目录位于broker id为2和0的log.dirs指定的目录中。

shiyanlou:kafka-logs-1/ $ ls     
cleaner-offset-checkpoint  __consumer_offsets-21  __consumer_offsets-35  __consumer_offsets-49
__consumer_offsets-0       __consumer_offsets-22

log.dirs的目录在/tmp/kafka-logs-中

查看 Zookeeper 上的元数据信息:

hiyanlou:bin/ $ ./zookeeper-shell.sh localhost:2181                 [12:55:59]
Connecting to localhost:2181
Welcome to ZooKeeper!
JLine support is disabled

WATCHER::

WatchedEvent state:SyncConnected type:None path:null
lls /
ZooKeeper -server host:port cmd args
    stat path [watch]
    set path data [version]
    ls path [watch]
    delquota [-n|-b] path
    ls2 path [watch]
    setAcl path acl
    setquota -n|-b val path
    history 
    redo cmdno
    printwatches on|off
    delete path [version]
    sync path
    listquota path
    rmr path
    get path [watch]
    create [-s] [-e] path data acl
    addauth scheme auth
    quit 
    getAcl path
    close 
    connect host:port

查看元信息

ls /brokers
[ids, topics, seqid]
ls /brokers/ids   查看集群
[0, 1, 2]
ls /brokers/topics 查看主题
[mySendTopic, myFirstTopic, __consumer_offsets]

如果ls命令返回[],说明这个节点是叶子节点,可以运行 get 命令获取内容

ls /brokers/topics/mySendTopic/partitions
[0, 1, 2]
ls /brokers/topics/mySendTopic/partitions/0
[state]
ls /brokers/topics/mySendTopic/partitions/0/state
[]
get /brokers/topics/mySendTopic/partitions/0/state
{"controller_epoch":1,"leader":2,"version":1,"leader_epoch":0,"isr":[2,0]}
cZxid = 0xf4
ctime = Tue Dec 12 04:51:39 UTC 2017
mZxid = 0xf4
mtime = Tue Dec 12 04:51:39 UTC 2017
pZxid = 0xf4
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 74
numChildren = 0

 

tips:

1.producer:
  消息生产者,发布消息到 kafka 集群的终端或服务。
2.broker:
  kafka 集群中包含的服务器。
3.topic:
  每条发布到 kafka 集群的消息属于的类别,即 kafka 是面向 topic 的。
4.partition:
  partition 是物理上的概念,每个 topic 包含一个或多个 partition, topic 中的消息是以 partition 分区的形式存储的。kafka 分配的单位是 partition。
5.consumer:
  从 kafka 集群中消费消息的终端或服务。
6.Consumer group:
  high-level consumer API 中,每个 consumer 都属于一个 consumer group,每条消息只能被 consumer group 中的一个 Consumer 消费,但可以被多个 consumer group 消费。
7.replica:
  partition 的副本,保障 partition 的高可用。Kafka 支持以 partition 为单位对消息进行冗余备份,每个 Partition 都必须配置至少1个 replication。replication-factor 参数指定了 replication 的个数,即 partition 的副本个数。
8.leader:
  replica 中的一个角色, producer 和 consumer 只跟 leader 交互。
9.follower:
  replica 中的一个角色,从 leader 中复制数据。
10.controller:
  kafka 集群中的其中一个服务器,用来进行 leader election 以及 各种 failover。
12.zookeeper:
  kafka 通过 zookeeper 来存储集群的 meta 信息。

13.Offset   --每个 partition 中的消息都是顺序存储的,每个消息都是有编号的,编号是顺序增长的。这个编号叫 offset,offset 记录了消息在 partition 中的位置。注意:offset 在一个 partition 内是有序的,多个 partition 之间的 offset 是独立存在的。

14.Leader replica  --在 partition 的多个副本 replication 中,有一个副本叫主副本(即Leader replica),所有消息消费者和消息生产者的读写请求都由 Leader replica 处理,这么做是为了保证一致性。其他副本叫从副本(即 Follower   replica),从副本 从 主副本处把数据更新同步到本地。

15.ISR(全拼为:In-Sync Replica) --从副本中,如果从主副本处把数据更新同步到本地了,那么这个从副本处于ISR状态(已同步状态),如果没有完全与主副本同步,那么会被从ISR中踢出去,处于非同步状态。 

一个 topic 有3个 partition,每个 partition 维护着独立的 offset。如 partition 0 中,最先发送到这个 partition 中的消息,offset 为0,后来的消息 offset 为1,2,3...依次类推。

 

posted @ 2017-12-12 13:38  kingleoric  阅读(...)  评论(... 编辑 收藏