kafka集群搭建文档

kafka集群搭建文档

一. 下载解压

从官网下载Kafka，下载地址http://kafka.apache.org/downloads.html

注意这里最好下载scala2.10版本的kafka，因为scala2.10版本的兼容性比较好和2.11版本差别太大

 

 

通过命令 tar –zxvf kafka_2.10-0.9.0.1.tgz解压

二．配置启动

配置config/server.properties

配置broker.id从0开始，后面其他节点配置1,2,3,4等等

 

 

事先启动zookeeper集群，这里配置zookeeper集群的地址

zookeeper.connect=master:2181,slave1:2181,slave2:2181

 

 

将集群分发到其他机器，比如

scp -r kafka_2.10-0.9.0.1 root@slave1:/opt/sxt/soft/

scp -r kafka_2.10-0.9.0.1 root@slave2:/opt/sxt/soft/

 

这里注意修改broker.id

 

 

 

 

 

 

修改完配置以后在每个节点启动kafka

bin/kafka-server-start.sh config/server.properties

三．测试

新建一个topic

./bin/kafka-topics.sh -zookeeper master:2181,slave1:2181,slave2:2181 -topic test -replication-factor 2 -partitions 5 –create

查看当前的topic

./bin/kafka-topics.sh -zookeeper master:2181,slave1:2181,slave2:2181 -list

 

 

在一个节点创建一个provider

./bin/kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic test

在另外一个节点创建一个consumer

./bin/kafka-console-consumer.sh --zookeeper master:2181,slave1:2181,slave2:2181 --from-beginning -topic test

在provider输入信息，在consumer能接收到信息