0 - kafka0.9 集群搭建

https://www.cnblogs.com/luotianshuai/p/5206662.html

 

每台服务器都需要安装，修改配置，并启动

 

启动命令：

sudo -u hadoop ./kafka-server-start.sh -daemon ../config/server.properties

 

目前4台服务器都作为kafka broker 后面3台做为zk

创建了一个topic：

sudo -u hadoop ./kafka-topics.sh --create --zookeeper XXX.XXX.XXX.XXX:2181 --replication-factor 2 --partition 4 --topic finance_risk_rtc_stat_cell

 

如果kafka在zk没有使用根目录，则需要在—zookeeper XXX.XXX.XXX.XXX:2181后跟/目录，后边亦是如此

 

查看：

 

sudo -u hadoop ./kafka-topics.sh --list --zookeeper XXX.XXX.XXX.XXX:2181

 

 

然后用一台服务器作为provider一台作为consumer测试

都是console模式

 

provider:

sudo -u hadoop ./kafka-console-producer.sh --broker-list XXX.XXX.XXX.XXX:9092 --topic finance_risk_rtc_stat_cell

consumer：

sudo -u hadoop ./kafka-console-consumer.sh --zookeeper XXX.XXX.XXX.XXX:2181 --topic finance_risk_rtc_stat_cell --from-beginning

 

 

这样就可以通信了

 

查看描述：

sudo -u hadoop ./kafka-topics.sh --describe --zookeeper XXX.XXX.XXX.XXX:2181/kafka --topic finance_risk_rtc_history

 

查看topic partition 个数 offset

sudo -u hadoop ./kafka-consumer-offset-checker.sh --zookeeper XXX.XXX.XXX.XXX:2181/kafka --group risk_rtc --topic finance_risk_rtc_history