1 # 创建主题 my-topic1 副本(replication-factor) 3 分区(partitions)3
2 # ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --create --topic my-topic1 --replication-factor 3 --partitions 3
3
4 # 增加分区到16 参数 --alter --partitions
5 # ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --topic my-topic1 --alter --partitions 16
6
7 # 删除主题 --delete，为了能够删除主题，broker的delete.topic.enable参数必须设置为true。如果该参数被设为false,删除主题的请求会被忽略。默认为false.
8 # ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --topic my-topic1 --delete
9
10 # 列车所有主题
11 # ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --list
12 log-format
13 my-topic
14 my-topic1 - marked for deletion
15 test
16
17 # 列出所有主题的详细信息。参数 --describe
18 # ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --describe
19
20 # 列出所有包含不同步副本的分区。参数 --under-replicated-partitions
21 # ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --describe --under-replicated-partitions
22
23 # 列车所有没有首领的分区，这些分区是离线状态，对于生产者和消费者来说是不可用的。参数--unavailable-partitions
24 ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --describe --unavailable-partitions
25
26 ###消费者群组，使用kafka-consumer-group.sh工具可以用于列出消费者群组
27 # 旧版本的消费者客户端，可以使用--zookeeper和list参数列出消费者群组；
28 # ./bin/kafka-consumer-groups.sh --zookeeper 192.168.37.130:2181 --list
29 Note: This will only show information about consumers that use ZooKeeper (not those using the Java consumer API).
30 console-consumer-71980
31
32 # 使用新版本的消费者客户端时，则要使用--bootstarap-server、--list和--new-consumer参数
33 # ./bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 192.168.37.130:9092,192.168.37.131:9092,192.168.37.132:9092 --list
34
35 # 使用--describe替代--list，并通过--group指定特定的群组，获取该群组的详细信息。它会列出群组里所有主题的信息和每个分区的偏移量
36 # 旧版本
37 # ./bin/kafka-consumer-groups.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --describe --group console-consumer-71980
38
39 # 新版本
40 # ./bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 192.168.37.130:9092,192.168.37.131:9092,192.168.37.132:9092 --describe --group console-consumer-71980
41
42 # 删除群组
43 # 只有旧版本的消费者客户端才支持删除群组的操作。删除群组操作将从zookeeper上移除整个群组，包括所有已保存的偏移量。在执行前，必须关闭所有的消费者。
44 # ./bin/kafka-consumer-groups.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --delete --group console-consumer-71981
45 # 删除群组-指定主题
46 # ./bin/kafka-consumer-groups.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --delete --group console-consumer-71981 --topic my-topic
47
48 ## 偏移量管理
49 # 导出偏移量
50 # ./bin/kafka-run-class.sh kafka.tools.ExportZkOffsets -zookeeper 192.168.37.130:2181 --group console-consumer-71981 --output-file filename
51
52 # 手动修改偏移量
53 # ./bin/kafka-consumer-groups.sh --bootstrap-server 10.20.1.196:9092 --group jsis-group-biaozhun --reset-offsets --topic carInfoUp --to-offset 17307399 --execute
54
55 # ./bin/kafka-consumer-groups.sh --bootstrap-server 10.20.1.196:9092 --group jsis-group-biaozhun --reset-offsets --topic carServiceInfoUp --to-offset 3755699 --execute
56
57 # 查看偏移量
58 # ./bin/kafka-console-consumer.sh --bootstrap-server 172.18.2.50:9092 --topic carServiceAlteration2 --from-beginning
59
60
61
62 # 查看消费组
63 # ./kafka-consumer-groups.sh --bootstrap-server 10.20.1.196:9092 --list
64
65 ./kafka-topics.sh --zookeeper 172.18.106.202:2181 --topic parkOutUp2 --describe
66
67
68 # 查看消费组
69 # ./bin/kafka-consumer-groups.sh --bootstrap-server 172.18.2.50:9092 --list
70
71 # 查看数据积压偏移量
72 # ./bin/kafka-consumer-groups.sh --bootstrap-server 172.18.2.50:9092 --group bishan.mcity --describe|grep -w bishan.mcity.park.in
73
74 # 查看大于100的数据积压偏移量
75 ./bin/kafka-consumer-groups.sh --bootstrap-server 172.18.2.50:9092 --group bishan.mcity --describe|awk '{if (int($5)>100) { print $1,$5,$7}}'|sort -n
76
77
78
79
80
81
82
83
84
85 1.查看topic的详细信息
86 ./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1
87
88 2、为topic增加副本
89 ./kafka-reassign-partitions.sh -zookeeper 127.0.0.1:2181 -reassignment-json-file json/partitions-to-move.json -execute
90
91 3、创建topic
92 ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testKJ1
93
94 4、为topic增加partition
95 ./bin/kafka-topics.sh –zookeeper 127.0.0.1:2181 –alter –partitions 20 –topic testKJ1
96
97 5、kafka生产者客户端命令
98 ./kafka-console-producer.sh --broker-list localhost:9092 --topic testKJ1
99
100 6、kafka消费者客户端命令
101 ./kafka-console-consumer.sh -zookeeper localhost:2181 --from-beginning --topic testKJ1
102
103 7、kafka服务启动
104 ./kafka-server-start.sh -daemon ../config/server.properties
105
106 8、下线broker
107 ./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper 127.0.0.1:2181 --broker #brokerId# --num.retries 3 --retry.interval.ms 60
108 shutdown broker
109
110 9、删除topic
111 ./kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic testKJ1 --zookeeper 127.0.0.1:2181
112 ./kafka-topics.sh --zookeeper localhost:2181 --delete --topic testKJ1
113
114 10、查看consumer组内消费的offset
115 ./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group test --topic testKJ1
浙公网安备 33010602011771号