kafka操作清单

1. 查看topic个数

./kafka-topics.sh --list --zookeeper dwtest-data2:2181,dwtest-data3:2181,dwtest-data4:2181

2. 查看topic的生产者与消费者消息

./kafka-topics.sh --describe --zookeeper dwtest-data2:2181,dwtest-data3:2181,dwtest-data4:2181 --topic test

leader:负责处理消息的读和写，leader是从所有节点中随机选择的.
Replicas:列出了所有的副本节点，不管节点是否在服务中.
Lsr:是正在服务中的节点.

3. 生产者

bin/kafka-console-producer.sh --broker-list kafka1:9092 --topic test
bin/kafka-console-producer.sh --broker-list 192.168.100.125:9092 --topic DreamTopic1

4.消费者

# 旧版本方式
bin/kafka-console-consumer.sh --zookeeper 192.168.100.125:2181 --topic test --from-beginning
bin/kafka-console-consumer.sh --zookeeper kafka1:2181 --topic test --from-beginning
bin/kafka-console-consumer.sh --zookeeper 192.168.100.125:2181 --topic DreamTopic1 --from-beginning

#新版本
bin/kafka-console-consumer.sh --bootstrap-server 10.15.201.83:9092 --topic test1 --from-beginning

5. 删除topic

  方法一： 通过kafka命令行删除

 bin/kafka-topics.sh --delete --zookeeper master:2181 --topic DreamTopic

如果删除后查看topic显示为:marked for deletion  则需要在每一台机器中的 config/server.properties 文件加入  delete.topic.enable=true，然后重启kafka

方法二： 删除zookeeper中的记录

    删除kafka存储目录（server.properties文件log.dirs配置，默认为"/tmp/kafka-logs"）相关topic目录

    删除zookeeper "/brokers/topics/"目录下相关topic节点 

# 连接zookeeper
zkCli.sh -server localhost:2181
rmr /brokers/topics/topicname

 

 6. 创建topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

新版本：

bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test

 7.  将日志信息发送到kafka

$ tail -n 0 -f  /var/log/nginx/access.log | bin/kafka-console-producer.sh --broker-list localhost:9092,localhost:9093,localhost:9094 --sync --topic zerg.hydra

 8. 启动kafka脚本

#!/bin/sh
./bin/kafka-server-start.sh -daemon config/server.properties

 

更多操作可参考这里的博客