安装:

0、JDK(v8,v11都经过了测试)

1、Just download  kafka.tar.gz,  no need zookeeper 

2、tar开

3、修改kafka/config下的server.properties(每服务一个,id及监听端口及Log文件必须各不相同)及zookeeper.properties

      注意:在监听端口侧要写上IP:9092,否则虽然在console-producer可以正常推送和拉取,但用远程工具时,连接会很慢且无法打开topic。用了IP:9092后,console-producer时,bootstrap-server后面不能写localhost:9092,而要写ip:9092,否则producer也会报错。

4、启动zookeeper

     bin/zookeeper-server-start.sh config/zookeeper.properties

     成功检查:jps(显示QuorumPeerMain);tcp2181 ;  

5、启动kafka

     bin/kafka-server-start.sh config/server1.properties

     bin/kafka-server-start.sh config/server2.properties

   成功检查:jps(显示kafka)

 

说明:开始时想复杂了,下了bitnami的ova包,但也不好用。反而是利用upm平台安装kafka就简单很多,只需要停掉upm进程(有些zookeeper会抢占8080,与upm冲突。如果用kafka安装包自带的zookeeper则不会抢占8080,这样upm不停也可以),按照安装步骤安装即可。

验证测试:生产及消费

将文件内容做为消息,由producer发送给broker:

cat /root/xxx.txt  |  bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic XXX

消费:

bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic XXX

订阅方式同producer一样的参数(可通过screen命令在单终端发送/阅读,由screen返回ctrl-a d)

 

一个windows下的zookeeper软件:prettyzoo

另:一个好用的kafka客户端 for windows:

 

  

 

参考:

https://kafka.apache.org/  网站的docs部分很好,命令行命令的解释很详细,包括安装及验证测试。阅读时注意版本

https://www.orchome.com/kafka/index //这个地址是对前面网站文档的翻译,嫌英文麻烦的可以直接看这个。

 

posted on 2022-11-26 16:33  胡彼德  阅读(24)  评论(0编辑  收藏  举报